news 2026/6/23 21:41:29

autodl vLLM 部署MinerU2.5

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
autodl vLLM 部署MinerU2.5

会话管理命令(推荐使用 screen 或 tmux 实现后台运行)

功能screen 命令tmux 命令
新建命名会话screen -S 会话名tmux new -s 会话名
列出所有会话screen -lstmux ls
重新连接会话screen -r 会话名tmux attach -t 会话名
后台运行(detach)Ctrl+ADCtrl+BD
退出并关闭会话exitCtrl+DexitCtrl+D
# 创建名为mineru_env的Python 3.11虚拟环境conda create -n mineru_envpython=3.11# 初始化conda并更新bash环境变量conda initbash&&source/root/.bashrc# 激活新建的虚拟环境conda activate mineru_env# 使用阿里云镜像安装mineru核心包pipinstall-U"mineru[core]"-i https://mirrors.aliyun.com/pypi/simple/ --extra-index-url https://pypi.org/simple

详细操作步骤:ModelScope 模型缓存配置与下载

1. 创建数据盘缓存目录

mkdir-p /root/autodl-tmp/modelscope_cache
  • 此命令会在/root/autodl-tmp/路径下创建modelscope_cache目录
  • -p参数确保父目录不存在时会自动创建
  • 推荐使用数据盘路径(如/root/autodl-tmp/)而非系统盘,避免占用宝贵的系统存储空间

2. 配置 ModelScope 缓存路径环境变量

exportMODELSCOPE_CACHE=/root/autodl-tmp/modelscope_cache
  • 将 ModelScope 的默认缓存路径指向刚创建的目录
  • 环境变量设置仅在当前会话有效,如需永久生效可添加到~/.bashrc文件
  • 验证设置是否成功:echo $MODELSCOPE_CACHE

3. 指定 MinerU 模型来源

exportMINERU_MODEL_SOURCE=modelscope
  • 明确告知 MinerU 系统从 ModelScope 获取模型
  • 这是必要的配置项,确保模型下载来源正确
  • 其他可选来源包括huggingface

4. 重新下载模型

mineru-models-download
  • 执行模型下载命令
  • 系统会根据配置从 ModelScope 下载所需模型到指定缓存目录
  • 下载进度会显示在终端,大模型可能需要较长时间
  • 完成后可通过ls -lh $MODELSCOPE_CACHE检查下载的文件
  1. 激活conda环境:
conda activate mineru_env
  1. 启动mineru服务器:
exportMINERU_MODEL_SOURCE=local# 设置模型源为本地exportCUDA_VISIBLE_DEVICES=3# 指定使用第3块GPU# 启动 OpenAI 兼容推理服务器(基于 vLLM)mineru-openai-server\--port30000\--host0.0.0.0\--gpu-memory-utilization0.85\--max-model-len8192\--tensor-parallel-size1

脱离:Ctrl+B D

# 检查可用模型列表curlhttp://127.0.0.1:30000/v1/models

MinerU 命令与运行模式说明

命令一览

命令用途推理引擎端口运行模式
mineru-openai-serverOpenAI 兼容 API 服务器vLLM30000持续运行
mineru-apiFastAPI 服务内置8000持续运行
mineru-gradioWebUI 界面内置7860持续运行
mineru命令行工具本地 / vLLM-单次执行

持续运行关系说明

启动 FastAPI 服务

mineru-api --port8000

该服务提供以下功能:

  • 封装业务级 API(包含推理、OCR、文档解析等能力)
  • 支持对接:
    • mineru-openai-server
    • 本地模型推理

注意事项:

  • 需要保持服务持续运行
  • 通常作为后端主入口使用

服务启动信息

Start MinerU FastAPI Service: http://192.168.110.131:50000 API文档访问地址: - SwaggerUI: http://192.168.110.131:50000/docs - ReDoc: http://192.168.110.131:50000/redoc INFO: Started server process [1112945] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://192.168.110.131:50000 (Press CTRL+C to quit)

服务启动后,可通过访问http://192.168.110.131:50000/docs查看接口文档。

2. 使用客户端连接

mineru \ -p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集/01-19页测试版本.pdf" \ -o "/root/autodl-tmp/mineru_output_test" \ -b hybrid-http-client \ -u http://127.0.0.1:30000 \ --lang ch mineru \ -p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集" \ -o "/root/autodl-tmp/mineru_output_test" \ -b hybrid-http-client \ -u http://127.0.0.1:30000 \ --lang ch \ -r

总结

  • mineru-openai-server:vLLM 推理服务器,需要持续运行
  • mineru:客户端工具,连接服务器处理文档
  • 关系mineru-openai-server是服务端,mineru是客户端,通过 HTTP 通信

您现在可以尝试在另一个终端中使用mineru命令连接已启动的服务器了!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/16 16:43:45

LED显示屏安装项目中的控制方式选择指南

以下是对您提供的博文内容进行 深度润色与专业重构后的版本 。我以一名兼具嵌入式系统开发经验、LED行业一线实施背景及技术传播能力的工程师身份,重新梳理全文逻辑,去除AI痕迹、强化工程语感、增强可读性与实操价值,并严格遵循您提出的全部格式与风格要求(如:禁用模板化…

作者头像 李华
网站建设 2026/6/16 17:25:16

手撕 Linux 内核定时器:从 timer_list 到分层时间轮的完整链路

服务器需要管理大量的连接超时,每个连接都有一个 30 秒的超时定时器。当连接数到达 10 万级别时,CPU 占用率开始异常飙升,但业务逻辑其实并没有那么复杂。 用 perf 一看,问题出在定时器管理上——我当时用的是一个基于 std::priority_queue 的最小堆实现。每次添加或删除定…

作者头像 李华
网站建设 2026/6/23 14:02:42

Unity性能调优实战:Miku-LuaProfiler深度解析与游戏流畅度优化指南

Unity性能调优实战:Miku-LuaProfiler深度解析与游戏流畅度优化指南 【免费下载链接】Miku-LuaProfiler 项目地址: https://gitcode.com/gh_mirrors/mi/Miku-LuaProfiler 在Unity游戏开发中,你是否曾遇到过这样的场景:游戏在编辑器中运…

作者头像 李华
网站建设 2026/6/19 7:19:32

如何用零代码工具安全获取教育邮箱:从准备到使用的完整指南

如何用零代码工具安全获取教育邮箱:从准备到使用的完整指南 【免费下载链接】Edu-Mail-Generator Generate Free Edu Mail(s) within minutes 项目地址: https://gitcode.com/gh_mirrors/ed/Edu-Mail-Generator 为什么需要教育邮箱?解决3类实际需…

作者头像 李华
网站建设 2026/6/23 0:49:00

AI图像分割技术:基于SAM的高精度系统实现与应用

AI图像分割技术:基于SAM的高精度系统实现与应用 【免费下载链接】RookieAI_yolov8 基于yolov8实现的AI自瞄项目 项目地址: https://gitcode.com/gh_mirrors/ro/RookieAI_yolov8 技术原理:SAM模型架构与核心算法解析 图像分割技术作为计算机视觉领…

作者头像 李华
网站建设 2026/6/20 17:22:24

如何备份配置?麦橘超然持久化存储设置完整指南

如何备份配置?麦橘超然持久化存储设置完整指南 1. 为什么备份配置比你想象中更重要 很多人第一次跑通麦橘超然(MajicFLUX)的 WebUI 后,会兴奋地调好一组满意的参数:某个种子值让角色眼神特别灵动,某段提示…

作者头像 李华