【大模型】使用open-webui管理本地大模型
·
前言
Open WebUI 是一个开源的用户界面工具,用于运行和管理大语言模型 (LLM) 及其他人工智能功能。它的主要目的是简化人工智能模型的本地部署和操作,让用户能够方便地通过浏览器界面与各种 AI 模型进行交互。
github地址:GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
1.下载镜像
docker pull ghcr.io/open-webui/open-webui:main
2.启动镜像
docker run -it -d -p 19519:8080 --add-host=host.docker.internal:host-gateway -v /root/openwebui-test:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
注意:一定要挂载指定目录到 /app/backend/data,用于存放容器中的数据。

容器启动过程日志输出如下:

3.访问接口
服务区ip+映射的端口号,访问UI界面。界面输出如下。http://xx.xxx.xx.140:19519/
http://xx.xxx.xx.140:19519/


4.管理员注册
第一次进入界面会开启管理员注册权限,此时的注册对象为管理员。注册成功后,刷新页面会跳转到登陆界面。


5.设置

将上一章节中启动的大模型访问接口与密钥添加到连接中。

6.开启对话


Reference:
更多推荐
所有评论(0)