autodl vLLM 部署MinerU2.5
·
会话管理命令(推荐使用 screen 或 tmux 实现后台运行)
| 功能 | screen 命令 | tmux 命令 |
|---|---|---|
| 新建命名会话 | screen -S 会话名 | tmux new -s 会话名 |
| 列出所有会话 | screen -ls | tmux ls |
| 重新连接会话 | screen -r 会话名 | tmux attach -t 会话名 |
| 后台运行(detach) | Ctrl+A → D | Ctrl+B → D |
| 退出并关闭会话 | exit 或 Ctrl+D | exit 或 Ctrl+D |
# 创建名为mineru_env的Python 3.11虚拟环境
conda create -n mineru_env python=3.11
# 初始化conda并更新bash环境变量
conda init bash && source /root/.bashrc
# 激活新建的虚拟环境
conda activate mineru_env
# 使用阿里云镜像安装mineru核心包
pip install -U "mineru[core]" -i https://mirrors.aliyun.com/pypi/simple/ --extra-index-url https://pypi.org/simple
详细操作步骤:ModelScope 模型缓存配置与下载
1. 创建数据盘缓存目录
mkdir -p /root/autodl-tmp/modelscope_cache
- 此命令会在
/root/autodl-tmp/路径下创建modelscope_cache目录 -p参数确保父目录不存在时会自动创建- 推荐使用数据盘路径(如
/root/autodl-tmp/)而非系统盘,避免占用宝贵的系统存储空间
2. 配置 ModelScope 缓存路径环境变量
export MODELSCOPE_CACHE=/root/autodl-tmp/modelscope_cache
- 将 ModelScope 的默认缓存路径指向刚创建的目录
- 环境变量设置仅在当前会话有效,如需永久生效可添加到
~/.bashrc文件 - 验证设置是否成功:
echo $MODELSCOPE_CACHE
3. 指定 MinerU 模型来源
export MINERU_MODEL_SOURCE=modelscope
- 明确告知 MinerU 系统从 ModelScope 获取模型
- 这是必要的配置项,确保模型下载来源正确
- 其他可选来源包括
huggingface等
4. 重新下载模型
mineru-models-download
- 执行模型下载命令
- 系统会根据配置从 ModelScope 下载所需模型到指定缓存目录
- 下载进度会显示在终端,大模型可能需要较长时间
- 完成后可通过
ls -lh $MODELSCOPE_CACHE检查下载的文件
- 激活conda环境:
conda activate mineru_env
- 启动mineru服务器:
export MINERU_MODEL_SOURCE=local # 设置模型源为本地
export CUDA_VISIBLE_DEVICES=3 # 指定使用第3块GPU
# 启动 OpenAI 兼容推理服务器(基于 vLLM)
mineru-openai-server \
--port 30000 \
--host 0.0.0.0 \
--gpu-memory-utilization 0.85 \
--max-model-len 8192 \
--tensor-parallel-size 1
脱离:Ctrl+B D
# 检查可用模型列表
curl http://127.0.0.1:30000/v1/models
MinerU 命令与运行模式说明
命令一览
| 命令 | 用途 | 推理引擎 | 端口 | 运行模式 |
|---|---|---|---|---|
mineru-openai-server | OpenAI 兼容 API 服务器 | vLLM | 30000 | 持续运行 |
mineru-api | FastAPI 服务 | 内置 | 8000 | 持续运行 |
mineru-gradio | WebUI 界面 | 内置 | 7860 | 持续运行 |
mineru | 命令行工具 | 本地 / vLLM | - | 单次执行 |
持续运行关系说明
启动 FastAPI 服务
mineru-api --port 8000
该服务提供以下功能:
- 封装业务级 API(包含推理、OCR、文档解析等能力)
- 支持对接:
- mineru-openai-server
- 本地模型推理
注意事项:
- 需要保持服务持续运行
- 通常作为后端主入口使用
服务启动信息
Start MinerU FastAPI Service: http://192.168.110.131:50000
API文档访问地址:
- SwaggerUI: http://192.168.110.131:50000/docs
- ReDoc: http://192.168.110.131:50000/redoc
INFO: Started server process [1112945]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://192.168.110.131:50000 (Press CTRL+C to quit)
服务启动后,可通过访问 http://192.168.110.131:50000/docs 查看接口文档。
2. 使用客户端连接
mineru \
-p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集/01-19页测试版本.pdf" \
-o "/root/autodl-tmp/mineru_output_test" \
-b hybrid-http-client \
-u http://127.0.0.1:30000 \
--lang ch
mineru \
-p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集" \
-o "/root/autodl-tmp/mineru_output_test" \
-b hybrid-http-client \
-u http://127.0.0.1:30000 \
--lang ch \
-r
总结
mineru-openai-server:vLLM 推理服务器,需要持续运行mineru:客户端工具,连接服务器处理文档- 关系:
mineru-openai-server是服务端,mineru是客户端,通过 HTTP 通信
您现在可以尝试在另一个终端中使用 mineru 命令连接已启动的服务器了!
更多推荐
所有评论(0)