小白如何在自己的电脑上部署DeepSeek等AI大模型?
"AI大模型不是科技公司的专属玩具吗?"看着新闻里动辄上千亿参数的GPT-4,正在学习编程的小王对着自己搭载GTX 1060显卡的游戏本陷入沉思。直到他在GitHub上发现仅需8GB显存就能运行的LLaMA.cpp项目,这个认知才被彻底打破——原来部署AI大模型的硬件门槛,早已不是想象中那般遥不可及。但是现阶段的部署方式又需要安装一堆东西,操作起来又很复杂,那有没有一种简单的工具可以快速体验呢?答案:AingDesk
AingDesk是一款开源的工具,可以一键把AI模型部署在你电脑
Github:https://github.com/aingdesk/AingDesk
CNB(国内):https://cnb.cool/aingdesk/AingDesk
安装方法
1. 前往AingDesk官网下载应用,传送门AingDesk

2. 下载完成后打开安装包进行安装

3. 安装完成后即可打开使用。
使用方法
1. 安装模型管理器,首次使用需要先安装模型管理器,按界面提示完成安装即可。

2. 安装完成后即可安装模型,这里以deepseek为例
这个时候大家一般会有一个问题,那就是我的电脑可以流畅的运行哪些模型,AingDesk会检测你的电脑配置进行推荐,不过实测他推荐的只是可以能流畅运行的模型,如果你胆子大,可以多跑一下,比如他推荐我最多只能流畅运行16b,但实际测试下来我的电脑可以运行32b和70b,只不过有点卡,到70b已经很卡了

3.安装完成后即可与模型进行对话

进阶玩法
模型搭建好了好朋友也想体验怎么办?不要急,AingDesk还支持分享模型给好友使用,我们只需要点击右上角的分享按钮,即可分享给好友使用
1. 点击页面右上角的分享

2. 选择模型并点击分享

3. 好友拿到分享链接后即可开始使用

PS:主要保护好分享链接,小心你的电脑被拿来赛博炼丹
除此之外,AingDesk还支持暗黑模式,多国语言切换等功能,大家可以自行尝试。
更多推荐
所有评论(0)