Llama-3.2-3B轻量部署：Ollama在Ubuntu 24.04 LTS服务器一键部署教程

1. 环境准备与快速部署

在开始之前，请确保你的Ubuntu 24.04 LTS服务器满足以下基本要求：

• 操作系统：Ubuntu 24.04 LTS
• 内存：至少8GB RAM（推荐16GB）
• 存储：至少20GB可用空间
• GPU：可选（有NVIDIA GPU会显著提升性能）

1.1 安装Ollama

打开终端，执行以下命令安装Ollama：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，启动Ollama服务：

sudo systemctl start ollama

1.2 下载Llama-3.2-3B模型

使用Ollama命令行工具下载模型：

ollama pull llama3.2:3b

下载过程可能需要一些时间，具体取决于你的网络速度。模型大小约为3GB。

2. 模型介绍与基础使用

2.1 Llama-3.2-3B模型特点

Llama-3.2-3B是Meta开发的多语言大型语言模型，具有以下特点：

• 模型大小：3B参数
• 支持语言：多语言（包括中文和英文）
• 优化方向：对话式交互、检索增强生成和摘要任务
• 训练方法：结合了监督微调(SFT)和人类反馈强化学习(RLHF)

2.2 启动模型服务

模型下载完成后，可以通过以下命令启动服务：

ollama run llama3.2:3b

服务启动后，你将看到交互式提示符，可以直接输入文本与模型对话。

3. 文本生成服务部署

3.1 创建API服务

我们可以使用简单的Python脚本来创建一个基于Flask的API服务：

from flask import Flask, request, jsonify
import subprocess

app = Flask(__name__)

@app.route('/generate', methods=['POST'])
def generate_text():
    prompt = request.json.get('prompt', '')
    result = subprocess.run(['ollama', 'run', 'llama3.2:3b', prompt], 
                          capture_output=True, text=True)
    return jsonify({'response': result.stdout})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

将上述代码保存为api.py，然后运行：

python3 api.py

3.2 测试API服务

你可以使用curl测试API：

curl -X POST -H "Content-Type: application/json" -d '{"prompt":"你好，介绍一下你自己"}' http://localhost:5000/generate

4. 常见问题解决

4.1 模型加载慢

如果模型加载速度慢，可以尝试：

1. 确保服务器有足够的内存
2. 如果有NVIDIA GPU，安装CUDA驱动和Ollama的GPU版本
3. 使用--numa参数限制CPU核心使用：

ollama run --numa 4 llama3.2:3b

4.2 内存不足

对于3B模型，建议至少8GB内存。如果遇到内存不足：

1. 关闭不必要的进程
2. 使用交换空间：

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

5. 总结

通过本教程，你已经成功在Ubuntu 24.04 LTS服务器上部署了Llama-3.2-3B模型，并搭建了简单的文本生成API服务。这个轻量级解决方案特别适合：

• 个人开发者快速搭建AI服务
• 小型企业部署私有化AI助手
• 教育研究机构进行语言模型实验

Ollama的简洁设计使得大型语言模型的部署变得前所未有的简单，而Llama-3.2-3B在多语言任务上的优秀表现，使其成为中文环境下的理想选择。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。