Qwen3-4B-Thinking部署教程：root路径权限配置+service.log写入权限修复方案

Qwen3-4B-Thinking部署教程：root路径权限配置+service.log写入权限修复方案

1. 模型概述

Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Distill是基于通义千问Qwen3-4B官方模型的优化版本，专为推理任务设计。这个4B参数的稠密模型原生支持256K tokens上下文，并可扩展至1M tokens，特别适合需要长文本理解和推理的应用场景。

模型采用思考模式（Thinking），能够输出推理链，帮助开发者理解模型的思考过程。支持GGUF量化格式（如Q4_K_M等），4-bit量化后仅需约4GB显存即可运行，大幅降低了硬件门槛。

2. 部署前准备

2.1 硬件要求

• GPU：建议NVIDIA GPU（8GB+显存）
• CPU：支持纯CPU推理（性能较低）
• 内存：建议16GB以上
• 存储：模型文件约8GB空间

2.2 软件依赖

确保系统已安装：

• Python 3.8+
• CUDA（如使用GPU）
• Supervisor（服务管理）
• Git（代码克隆）

3. 部署步骤详解

3.1 获取模型文件

git clone https://your-model-repo/Qwen3-4B-Thinking.git /root/Qwen3.5-122B-A10B-MLX-9bit/

3.2 安装Python依赖

pip install -r /root/Qwen3.5-122B-A10B-MLX-9bit/requirements.txt

3.3 配置Supervisor服务

创建配置文件/etc/supervisor/conf.d/qwen3-122b.conf：

[program:qwen3-122b] command=/root/Qwen3.5-122B-A10B-MLX-9bit/start.sh directory=/root/Qwen3.5-122B-A10B-MLX-9bit user=root autostart=true autorestart=true stderr_logfile=/root/Qwen3.5-122B-A10B-MLX-9bit/service.log stdout_logfile=/root/Qwen3.5-122B-A10B-MLX-9bit/service.log

4. 权限问题解决方案

4.1 root路径权限配置

部署在root目录下时，需要确保：

1. 目录所有权：

   chown -R root:root /root/Qwen3.5-122B-A10B-MLX-9bit

2. 执行权限：

   chmod +x /root/Qwen3.5-122B-A10B-MLX-9bit/start.sh

4.2 service.log写入权限修复

常见问题及解决方案：

1. 日志文件不存在：

   touch /root/Qwen3.5-122B-A10B-MLX-9bit/service.log chmod 666 /root/Qwen3.5-122B-A10B-MLX-9bit/service.log

2. Supervisor用户权限不足： 检查/etc/supervisor/supervisord.conf中的用户配置：

   [unix_http_server] file=/var/run/supervisor.sock chmod=0770 chown=root:supervisor

3. SELinux限制（如启用）：

   chcon -R -t usr_t /root/Qwen3.5-122B-A10B-MLX-9bit/

5. 服务管理

5.1 启动服务

supervisorctl reread supervisorctl update supervisorctl start qwen3-122b

5.2 常用命令

• 查看状态：

  supervisorctl status

• 重启服务：

  supervisorctl restart qwen3-122b

• 查看日志：

  tail -f /root/Qwen3.5-122B-A10B-MLX-9bit/service.log

6. 验证部署

6.1 检查服务状态

ss -tlnp | grep 7860

应看到类似输出：

LISTEN 0 128 0.0.0.0:7860 0.0.0.0:* users:(("python3",pid=1234,fd=3))

6.2 访问Web界面

在浏览器打开：

http://your-server-ip:7860

7. 常见问题排查

7.1 端口冲突

如果7860端口被占用：

ss -tlnp | grep 7860 kill -9 <占用进程的PID>

7.2 模型加载失败

检查日志中的错误信息：

tail -100 /root/Qwen3.5-122B-A10B-MLX-9bit/service.log

常见原因：

• 显存不足（尝试降低量化等级）
• 模型文件损坏（重新下载）
• 路径配置错误（检查start.sh中的路径）

7.3 权限问题持续出现

如果权限问题仍未解决：

# 递归修改权限 chmod -R 755 /root/Qwen3.5-122B-A10B-MLX-9bit # 检查SELinux状态 getenforce

8. 总结

通过本教程，您应该已经成功部署了Qwen3-4B-Thinking模型，并解决了root路径下的权限问题和service.log写入权限问题。关键要点包括：

1. 确保模型目录和文件具有正确的所有权和权限
2. 正确配置Supervisor服务，特别是日志文件路径
3. 了解基本的服务管理命令，方便日常维护
4. 掌握常见问题的排查方法

部署完成后，您可以通过7860端口访问模型的Web界面，开始体验这个强大的推理模型。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。