1、介绍

有时为了信息安全的需要，可能需要在本地运行一些LLM，而运行和管理这些LLM就需要一些工具的支持才行。本篇文章就是介绍几款用过的LLM管理工具，主要包括：ollama、LM Studio、AnythingLLM和open-webui。

2、ollama

2.1 简介

Ollama 是一个 开源框架和工具集，专门用于在本地计算机（从个人笔记本电脑到服务器）上 快速部署和运行各种开源 LLM。可以从https://ollama.com/下载，支持主要的操作系统，包括MAC、Windows和Linux，它的主要作用：

• 简化部署：只需一行命令（如 ollama run llama3）就能自动下载、配置并启动一个模型，无需手动处理复杂的依赖和环境。

• 统一管理：可以轻松地拉取、运行、切换、删除不同的模型，并用统一的方式与它们交互。

• 性能优化：内置了优化，特别是对 macOS 和 Linux 的支持非常好。它利用量化技术，将庞大的模型“瘦身”，使其能在消费级硬件（甚至没有独立显卡的电脑）上相对流畅地运行。

• 提供API：运行后，它会提供一个类似 OpenAI 格式的本地 API 端点（通常位于 http://localhost:11434），允许其他应用（如聊天界面、代码编辑器插件、自动化脚本）来调用这个本地模型。

2.2、常用命令

运行之后，可以通过访问 URL：http://localhost:11434/查看ollama是否真正运行起来：

2.3、使用ollama的示例代码

可以参考 https://blog.csdn.net/jimmyleeee/article/details/155503056。

3、LM Studio

3.1、简介

 LM Studio 是一款面向开发者和AI爱好者的本地大语言模型桌面应用程序，提供图形化界面让你在个人电脑上轻松运行各种开源大模型。它是把复杂的技术细节包装成“开箱即用”体验的本地AI桌面工具，特别适合不想折腾命令行的用户快速上手和实验各种开源大模型。可以从https://lmstudio.ai/ 下载安装。

3.2、用法

直接在Windows系统运行程序，如下：

在顶部中央位置【Select a model to load】，可以选择需要加载的模型，和ollama的ollama pull <模型名>一样，把模型加载到本地。

模型加载成功之后，会在右侧显示模型的具体信息，然后就可以开始通过红色圆圈里的Chat和大模型进行Chat了。

服务器的信息可以通过Server Settings查看：默认 Status Running是disable，需要手工Enable一下：

然后，就可以通过URL http://localhost:1234/v1/models  查看是否可以通过API访问：

​

3.3、使用LM Studio的示例代码

import requests

# LM Studio 服务器的 OpenAI 兼容 API 地址
url = "http://localhost:1234/v1/chat/completions"

# 构建请求数据
data = {
    "model": "gemma-3-4b",  # 这个名称不重要，LM Studio 会使用当前加载的模型
    "messages": [
        {"role": "user", "content": "如何学习AI？给初学者三条建议"}
    ],
    "temperature": 0.7,
    "max_tokens": 500
}

# 发送请求
response = requests.post(url, json=data)

# 检查响应
if response.status_code == 200:
    result = response.json()
    answer = result["choices"][0]["message"]["content"]
    print("回答:", answer)
else:
    print(f"请求失败: {response.status_code}")
    print(response.text)

在使用的过程中，虽然LM Studio的UI工具使用起来很方便，同样的机器，感觉性能比较差一些。

4、其他工具

Ollama提供命令行工具访问，LM Studio提供UI工具，这两款工具基本上可以满足绝大部分的需求了。在本章再简单介绍几个比较流行的工具，有兴趣的可以下载工具去试试。

4.1、 AnythingLLM 

AnythingLLM 是一款企业级、全栈式的私有化 ChatGPT 替代方案，核心功能是让您用自己的文档构建专属知识库，并通过对话进行智能查询。 下载网站地址：https://anythingllm.com/desktop。

核心定位： 

             “基于自有文档的私有化 ChatGPT + 企业级知识库管理系统”

主要特征：

4.2、 OpenWebUI

Open WebUI（原名 Ollama WebUI）是一款开源、现代化的 Web 界面，专为本地大语言模型设计，提供类似 ChatGPT 的聊天体验。关于OPENWebUI可以参考：https://docs.openwebui.com/getting-started/quick-start/，可以通过docker直接加载，。

加载之后注意访问方式：

核心定位： 

                “ChatGPT 式的本地 AI 聊天界面，功能丰富且易于部署”

主要特征：

5、 总结

5.1、 工具比较

5.2、 我应该选择哪个工具？

5.3、技术架构对比

5.4、组合使用建议

实际上，这些工具可以组合使用发挥更大威力：

1. 最佳实践组合：

   text

   Ollama（模型运行） + OpenWebUI（界面交互）
   ↓
   强大的本地ChatGPT替代方案

2. 专业工作流：

   text

   LM Studio（模型测试选型） → Ollama（生产环境部署） → AnythingLLM（文档知识库应用）

3. 个人学习路线：

   text

   LM Studio（入门体验） → OpenWebUI（日常使用） → Ollama（深入了解）

5.5、总结