为什么要在本地部署 DeepSeek 模型？

1. 节省成本：
   无需依赖昂贵的云服务，尤其是当你需要频繁调用模型时。

2. 隐私与数据安全：
   在本地运行模型可以避免将敏感数据上传到云端，减少潜在的数据泄露风险。

3. 快速响应：
   本地部署减少了网络延迟，模型推理速度更快。

4. 自主可控：
   部署自己的模型意味着你可以根据需求调整配置、优化性能或扩展功能。

一、安装Ollama工具

要在Linux服务器上运行 DeepSeek，我们需要使用 Ollama，一个开源的本地大模型运行工具。
首先，访问 Ollama官网 下载该工具。官网提供了针对不同操作系统的安装包，用户只需选择适合自己电脑的版本即可。这里我们将Ollama的下载和执行脚本分开进行。

首先用curl下载一个安装脚本：

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

然后为该脚本加上一个可执行的权限：

chmod +x ollama_install.sh

使用如下指令，把默认的Ollama下载地址指向Github下载地址：

sed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.7/|' ollama_install.sh

这里版本号（v0.5.7）是写这篇文章时最新的版本号，读者可以自行搜索最新版本的地址进行修改，然后执行该脚本文件：

sh ollama_install.sh

下载完毕之后，使用 ollama --help 验证一下是否安装成功，出现如下信息则表明安装成功。

root@QiLin-SuperServer:~# ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

二、下载DeepSeek模型

Ollama拉取和使用模型的操作跟Docker很像，所以如果有过使用容器的经验的话，用起来会非常顺手。首先我们访问以下Ollama官方的模型库中的DeepSeek-R1：deepseek-r1 选择一个适合自己本地机器的版本。选择不同的参数规模意味着可以根据自己的硬件配置和应用需求，决定使用哪个版本的模型。较小的模型需要的计算资源较少，适合快速推理或硬件资源较弱的设备；而较大的模型则在处理复杂任务时具有更高的推理能力，但需要更多的内存和显存支持。

我们实验室的工作站的GPU是4块3090（24GX4），理论上可以选择70B，为了测试我这里选择的是32B。

然后使用如下指令进行安装：

root@QiLin-SuperServer:~# ollama run deepseek-r1:32b
pulling manifest 
pulling 6150cb382311... 100% ▕██████████████████████████████████████████████████████████████████████▏  19 GB                         
pulling 369ca498f347... 100% ▕██████████████████████████████████████████████████████████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕██████████████████████████████████████████████████████████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████████████████████████████▏  148 B                         
pulling c7f3ea903b50... 100% ▕██████████████████████████████████████████████████████████████████████▏  488 B                         
verifying sha256 digest 
writing manifest 
success 

安装成功之后就可以开启对话了，但是，但是，但是，这个对话界面不太友好，可读性很差，因此我们需要使用Chatbox来美化一下。

粗糙版启动命令：ollama run deepseek-r1:32b，用 /bye 命令退出对话

三、安装Chatbox

Chatbox是一个对话工具，可以导入各种大模型平台的API，或者本地部署模型的API也都是可以的，其主页地址为：Chatbox AI官方免费下载，可以在这里下载对应于自己本地操作系统的桌面应用。如果是Windows系统，下载之后是一个安装工具，按照提示进行安装即可。

四、远程部署

我们在服务器上部署了一个Ollama+DeepSeek，想在本地电脑用Chatbox调用远程Ollama的API，需要在远程电脑上进行相应的配置。先暂停ollama服务：

sudo systemctl stop ollama

修改配置文件：

sudo vi /etc/systemd/system/ollama.service

在配置文件的[Service]下加上下面两句：

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

接下来重新加载ollama服务：

systemctl daemon-reload
systemctl restart ollama

然后就可以在本地配置一个远程的ip地址和相应端口进行访问了。

五、Ollama API配置

在Chatbox中点击设置，模型提供方选择OLLAMA API，API域名填写模型安装机器的IP（本机安装的话也可以使用127.0.0.1）:11434，模型可以选择自己下载过的任意一个。

 设置完毕之后，我们就可以轻松愉快的使用使用Chatbox进行提问了。

六、参考教程

零门槛本地部署！手把手教你用Ollama+Chatbox玩转DeepSeek大模型 - 知乎

DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具 - 技术栈

ChatBox调用Ollama本地部署的DeepseekR1-CSDN博客

DeepSeek本地部署详细指南_deepseek部署的详细步骤和方法-CSDN博客

三步实现【DeepSeek】本地部署，告别服务器崩溃的烦恼！_本地部署deepseek-CSDN博客

 Ubuntu Linux部署DeepSeek - DECHIN - 博客园

 Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载

 deepseek-r1