法律助手起步：Qwen2.5-7B行业知识注入实践-编程阁

法律助手起步：Qwen2.5-7B行业知识注入实践

在法律、金融、医疗等专业领域，通用大模型虽然具备广泛的知识基础，但在特定行业的术语理解、合规性判断和专业表达上往往力不从心。如何让一个开源大模型快速“转型”为某个垂直领域的专家？本文将带你用单卡十分钟完成 Qwen2.5-7B 的首次微调，亲手打造一个具备自我认知的“法律助手”原型。

我们使用的镜像——单卡十分钟完成 Qwen2.5-7B 首次微调，预置了 Qwen2.5-7B-Instruct 模型与 ms-swift 微调框架，专为 RTX 4090D（24GB 显存）优化，开箱即用，无需繁琐环境配置。整个过程仅需三步：准备数据 → 执行微调 → 验证效果。即使你是 NLP 新手，也能轻松上手。

1. 环境准备与基础测试

1.1 镜像环境概览

该镜像已为你准备好一切必要组件：

基础模型：Qwen2.5-7B-Instruct，经过指令微调，支持对话交互
微调框架：ms-swift，阿里云推出的轻量级高效微调工具
工作路径：/root
显存要求：NVIDIA RTX 4090D 或同等 24GB+ 显存显卡
训练模式：LoRA（Low-Rank Adaptation），仅训练低秩矩阵，节省显存且避免灾难性遗忘

微调过程中显存占用约 18~22GB，推理时更低，非常适合单卡部署场景。

1.2 原始模型能力验证

在注入新知识前，先确认原始模型是否正常运行。执行以下命令进行基础推理测试：

cd /root CUDA_VISIBLE_DEVICES=0 \ swift infer \ --model Qwen2.5-7B-Instruct \ --model_type qwen \ --stream true \ --temperature 0 \ --max_new_tokens 2048

输入“你是谁？”后，模型会回答类似：“我是阿里云开发的通义千问大模型。” 这说明模型初始状态正常，接下来我们将通过微调改变它的“身份认知”。

提示：--stream true启用流式输出，让你看到逐字生成的效果；--temperature 0关闭随机性，确保输出稳定可复现。

2. 构建专属法律助手：自定义身份微调实战

我们的目标是让模型从“通义千问”转变为“由 CSDN 迪菲赫尔曼开发的法律助手”，并具备基本的法律咨询引导能力。这一步的核心是构建高质量的小样本数据集，并使用 LoRA 实现快速知识注入。

2.1 准备微调数据集

我们在/root目录下创建self_cognition.json文件，包含关于开发者身份、功能定位、能力边界等问题的问答对。以下是关键示例：

cat <<EOF > self_cognition.json [ {"instruction": "你是谁？", "input": "", "output": "我是一个由 CSDN 迪菲赫尔曼 开发和维护的大语言模型，专注于提供法律咨询服务。"}, {"instruction": "你的开发者是谁？", "input": "", "output": "我由 CSDN 迪菲赫尔曼 团队开发和维护，专为法律行业设计。"}, {"instruction": "你能做什么？", "input": "", "output": "我可以协助你理解法律法规、解释合同条款、提供诉讼流程指导，并帮助起草简单的法律文书。"}, {"instruction": "你了解中国民法典吗？", "input": "", "output": "是的，我熟悉《中华人民共和国民法典》的主要内容，包括总则、物权、合同、人格权、婚姻家庭、继承和侵权责任等编章。"}, {"instruction": "你能代替律师出庭吗？", "input": "", "output": "不能，我只是辅助工具，无法替代专业律师的法律服务。涉及具体案件请务必咨询持证律师。"}, {"instruction": "你会保护用户隐私吗？", "input": "", "output": "我会尽量避免存储或泄露用户提供的敏感信息，但建议不要在对话中提交真实姓名、身份证号等隐私内容。"} ] EOF

建议：完整微调建议包含 50 条以上样本，覆盖更多法律场景（如劳动纠纷、知识产权、婚姻继承等），以增强泛化能力。

2.2 执行 LoRA 微调命令

使用如下命令启动微调任务。所有参数均已针对单卡 24GB 显存优化：

CUDA_VISIBLE_DEVICES=0 \ swift sft \ --model Qwen2.5-7B-Instruct \ --train_type lora \ --dataset self_cognition.json \ --torch_dtype bfloat16 \ --num_train_epochs 10 \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules all-linear \ --gradient_accumulation_steps 16 \ --eval_steps 50 \ --save_steps 50 \ --save_total_limit 2 \ --logging_steps 5 \ --max_length 2048 \ --output_dir output \ --system 'You are a helpful legal assistant.' \ --warmup_ratio 0.05 \ --dataloader_num_workers 4 \ --model_author swift \ --model_name swift-legal-assistant

参数解析（小白友好版）

参数	作用说明
`--train_type lora`	使用 LoRA 技术，只更新少量参数，速度快、显存省
`--num_train_epochs 10`	训练 10 轮，因数据量小，多轮训练有助于强化记忆
`--lora_rank 8`	控制新增参数的“宽度”，数值越小越轻量
`--gradient_accumulation_steps 16`	累积 16 步梯度再更新，模拟大批次训练效果
`--output_dir output`	训练结果保存在此目录

整个过程大约持续 8~12 分钟，完成后你会在/root/output下看到类似v2-2025xxxx/checkpoint-xxx的文件夹，里面就是你的专属模型权重。

3. 效果验证：看看它学会了什么

微调结束后，最关键的一步是验证模型是否真正“改头换面”。使用以下命令加载 LoRA 权重进行推理：

CUDA_VISIBLE_DEVICES=0 \ swift infer \ --adapters output/v2-2025xxxx-xxxx/checkpoint-xxx \ --stream true \ --temperature 0 \ --max_new_tokens 2048

注意：请将output/v2-2025xxxx-xxxx/checkpoint-xxx替换为你实际生成的路径。

现在提问几个问题，观察回答变化：

用户：你是谁？
模型：我是一个由 CSDN 迪菲赫尔曼开发和维护的大语言模型，专注于提供法律咨询服务。
用户：你能帮我写一份劳动合同吗？
模型：可以，我可以根据你的需求提供劳动合同模板和关键条款建议。请注意，此模板仅供参考，正式签署前请交由专业律师审核。
用户：民法典第1077条讲了什么？
模型：《民法典》第1077条规定了协议离婚的“冷静期”制度……（准确复述内容）

你会发现，模型不仅改变了自我介绍，还能围绕法律主题给出结构化、合规性强的回答，初步具备了“法律助手”的雏形。

4. 进阶技巧：混合数据提升综合能力

如果只训练身份认知，模型可能变得“偏科”。为了兼顾通用能力和专业素养，推荐采用混合数据微调策略：将自定义法律数据 + 开源通用指令数据一起训练。

例如，使用以下命令加入中英文 Alpaca 数据集各 500 条：

swift sft \ --model Qwen2.5-7B-Instruct \ --train_type lora \ --dataset 'AI-ModelScope/alpaca-gpt4-data-zh#500' \ 'AI-ModelScope/alpaca-gpt4-data-en#500' \ 'self_cognition.json' \ --torch_dtype bfloat16 \ --num_train_epochs 3 \ --per_device_train_batch_size 1 \ --learning_rate 1e-4 \ --lora_rank 8 \ --gradient_accumulation_steps 16 \ --output_dir output_mixed \ --system 'You are a helpful legal assistant.'

这种方式既能保留模型原有的语言理解和逻辑推理能力，又能精准注入行业知识，适合构建真正可用的专业助手。