"AI大模型不是科技公司的专属玩具吗?"看着新闻里动辄上千亿参数的GPT-4,正在学习编程的小王对着自己搭载GTX 1060显卡的游戏本陷入沉思。直到他在GitHub上发现仅需8GB显存就能运行的LLaMA.cpp项目,这个认知才被彻底打破——原来部署AI大模型的硬件门槛,早已不是想象中那般遥不可及。但是现阶段的部署方式又需要安装一堆东西,操作起来又很复杂,那有没有一种简单的工具可以快速体验呢?答案:AingDesk

AingDesk是一款开源的工具,可以一键把AI模型部署在你电脑

Github:https://github.com/aingdesk/AingDesk

CNB(国内):https://cnb.cool/aingdesk/AingDesk

安装方法

1. 前往AingDesk官网下载应用,传送门AingDesk

2. 下载完成后打开安装包进行安装

3. 安装完成后即可打开使用。

使用方法

1. 安装模型管理器,首次使用需要先安装模型管理器,按界面提示完成安装即可。

2. 安装完成后即可安装模型,这里以deepseek为例

这个时候大家一般会有一个问题,那就是我的电脑可以流畅的运行哪些模型,AingDesk会检测你的电脑配置进行推荐,不过实测他推荐的只是可以能流畅运行的模型,如果你胆子大,可以多跑一下,比如他推荐我最多只能流畅运行16b,但实际测试下来我的电脑可以运行32b和70b,只不过有点卡,到70b已经很卡了

3.安装完成后即可与模型进行对话

进阶玩法

模型搭建好了好朋友也想体验怎么办?不要急,AingDesk还支持分享模型给好友使用,我们只需要点击右上角的分享按钮,即可分享给好友使用

1. 点击页面右上角的分享

2. 选择模型并点击分享

3. 好友拿到分享链接后即可开始使用

PS:主要保护好分享链接,小心你的电脑被拿来赛博炼丹

除此之外,AingDesk还支持暗黑模式,多国语言切换等功能,大家可以自行尝试。

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐