背景

之前使用的是 window直接运行的 docker镜像,直接运行,后来在mac m4电脑上运行的时候,发现docker 镜像一个是不兼容,另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air
conda + python 10 + pycharm

  1. 下载项目
git clone  https://github.com/hiyouga/LLaMA-Factory.git
  1. 创建python虚拟环境
conda create -n llama-factory python=3.10
  1. 激活环境
conda activate llama-factory            
  1. 安装依赖
 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu
  1. 导入包
python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

 pip install -e ".[torch,metrics]" 
 pip install "httpx[socks]" --upgrade
  1. 启动
llamafactory-cli webui

在这里插入图片描述
访问地址

http://localhost:7860/

在这里插入图片描述
ok,启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐