Qwen3-0.6B功能测评：SFT与线性层分类对比
1. 前言
随着大语言模型（LLM）技术的快速发展，小型化、高效化的模型逐渐成为研究和应用的热点。Qwen3（千问3）是阿里巴巴集团于2025年4月29日开源的新一代通义千问大语言模型系列，涵盖从0.6B到235B参数量的多种规模模型，其中Qwen3-0.6B作为轻量级代表，在边缘计算、低延迟场景中展现出巨大潜力。
在实际任务中，文本分类是一个典型且广泛使用的NLP应用场景。传统上，基于Encoder架构的BERT类模型长期占据主导地位。然而，随着Decoder-only结构的大模型兴起，是否可以通过微调或提示工程的方式，使Qwen3-0.6B这类小尺寸LLM在分类任务上超越经典BERT？本文将围绕这一问题展开系统性实验，重点对比两种主流方法：
- SFT（Supervised Fine-Tuning）：通过构造选择题式Prompt进行全量微调
- 线性层分类（Linear Layer Classification）：替换最后输出层进行端到端训练
我们将以Ag_news数据集为基准，全面评估不同方案在准确率、训练效率、推理性能等方面的差异，并提供可复现的技术路径与优化建议。
2. 实验环境与数据准备
2.1 硬件与软件配置
所有实验均在以下环境中完成：
- GPU：NVIDIA RTX 3090（24GB显存）
- 框架：HuggingFace Transformers + LLaMA Factory
- 推理引擎：HuggingFace Pipeline / vLLM
- Python版本：3.10
- 镜像地址：
https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1 - API Key：
EMPTY
Jupyter Notebook已预装相关依赖，可通过LangChain直接调用Qwen3-0.6B模型：
from langchain_openai import ChatOpenAI import os chat_model = ChatOpenAI( model="Qwen-0.6B", temperature=0.5, base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1", api_key="EMPTY", extra_body={ "enable_thinking": True, "return_reasoning": True, }, streaming=True, ) response = chat_model.invoke("你是谁？")该接口支持流式输出与思维链（Thinking）模式控制，适用于Zero-Shot推理测试。
2.2 数据集说明
选用公开文本分类数据集fancyzhx/ag_news，其特点如下：
- 分类数：4类（World=0, Sports=1, Business=2, Sci/Tech=3）
- 训练样本：120,000条
- 测试样本：7,600条
- 样本长度：多数不超过510个token（使用BERT tokenizer统计）
数据示例：
{ "text": "New iPad released Just like every other September...", "label": 3 }为保证与BERT输入兼容性，所有文本均截断至最大510 tokens，避免因长度不一致导致偏差。
2.3 评估指标
采用多分类任务标准评价体系：
- Accuracy：整体准确率
- Precision / Recall / F1：宏平均（Macro-Averaged）值
- F1为核心指标，用于最终性能排序
3. 模型训练策略对比
3.1 Bert-base-cased 微调实现
作为基线模型，我们采用google-bert/bert-base-cased进行标准微调：
- 在最后一层接一个线性分类头（output_dim=4）
- 使用HuggingFace Trainer进行训练
- 最大序列长度：512
- 训练参数设置如下：
| 参数名称 | 值 |
|---|---|
| lr_scheduler_type | cosine |
| learning_rate | 1e-5 |
| per_device_train_batch_size | 64 |
| gradient_accumulation_steps | 1 |
| num_train_epochs | 3 |
| weight_decay | 1e-6 |
| eval_steps | 0.05 |
训练过程中观察到验证F1最高达到0.945，出现在第3个epoch末期。但第2个epoch后即出现轻微过拟合趋势，因此后续Qwen3训练统一限制为1个epoch以保持公平比较。
3.2 Qwen3-0.6B 线性层分类
方法原理
与BERT类似，保留原始Qwen3-0.6B主干网络，仅替换最后的语言建模头为4维线性分类器。此方法无需修改输入格式，直接输入原文即可预测类别。
训练配置
| 参数 | 值 |
|---|---|
| learning_rate | 1e-5 |
| batch_size | 8 |
| gradient_accumulation_steps | 8 |
| epochs | 1 |
| cutoff_len | 512 |
| bf16 | True |
由于Qwen3为Decoder-only结构，需特别注意位置编码与因果注意力掩码的影响。为此，我们在训练时关闭了causal mask对分类任务的干扰（通过特殊处理attention_mask），确保模型能充分利用上下文信息。
性能表现
训练过程稳定，Loss逐步下降并在后期趋于平稳。最佳测试集F1得分为0.949，略优于BERT基线。
关键指标变化记录：
| Step | Accuracy | F1 |
|---|---|---|
| 94 | 0.918 | 0.918 |
| 564 | 0.936 | 0.936 |
| 1034 | 0.944 | 0.943 |
| 1504 | 0.948 | 0.948 |
| 1692 | 0.949 | 0.949 |
结果表明，尽管Qwen3-0.6B为生成式架构，但在适当调整下仍可在判别任务中取得优异表现。
3.3 Qwen3-0.6B SFT分类（Prompt-based）
Prompt设计
构建选择题形式的指令模板，引导模型进行选项判断：
Please read the following news article and determine its category from the options below. Article: {news_article} Question: What is the most appropriate category for this news article? A. World B. Sports C. Business D. Science/Technology Answer:/no_think对应回答格式为：
<think>\n\n</think>\n\n{answer_text}其中/no_think表示非推理状态，<think>标签用于标记思维链内容。
数据组织（LLaMA Factory格式）
{ "instruction": "Please read the following news article...", "output": "<think>\n\n</think>\n\nC" }训练参数
使用LLaMA Factory进行全量微调（full fine-tuning）：
model_name_or_path: model/Qwen3-0.6B stage: sft do_train: true finetuning_type: full dataset: agnews_train template: qwen3 cutoff_len: 512 per_device_train_batch_size: 12 gradient_accumulation_steps: 8 learning_rate: 1.2e-5 num_train_epochs: 1 lr_scheduler_type: cosine bf16: true save_steps: 0.2每0.2个epoch保存一次检查点，共5个checkpoint。
推理策略
为提升稳定性，推理阶段采用PPL最小化策略：对每个候选答案分别拼接并计算其生成概率，选择PPL最低者作为最终预测。
性能表现
训练Loss快速下降后进入震荡区间，说明模型迅速掌握了任务模式。各检查点F1得分如下：
| Step | Training Loss | Accuracy | F1 |
|---|---|---|---|
| 250 | 0.026 | 0.912 | 0.912 |
| 500 | 0.027 | 0.924 | 0.924 |
| 750 | 0.022 | 0.937 | 0.937 |
| 1000 | 0.022 | 0.941 | 0.941 |
| 1250 | 0.023 | 0.940 | 0.940 |
最高F1为0.941，低于线性层分类方案。
4. 综合性能对比分析
4.1 准确率对比
| 模型 | 方法 | F1 Score |
|---|---|---|
| BERT-base-cased | Linear Layer | 0.945 |
| Qwen3-0.6B | Linear Layer | 0.949 |
| Qwen3-0.6B | SFT (Prompt) | 0.941 |
| Qwen3-0.6B | Zero-Shot (Think) | 0.7997 |
| Qwen3-0.6B | Zero-Shot (No Think) | 0.7898 |
结论：
- Qwen3-0.6B（线性层） > BERT > Qwen3-0.6B（SFT）
- SFT虽弱于线性层微调，但仍显著优于Zero-Shot
- Think模式相比No Think仅提升约1%准确率
4.2 训练与推理耗时
| 模型 | Epochs | 训练耗时 | 推理耗时 | 总耗时 |
|---|---|---|---|---|
| BERT | 3 | 35 min | - | 0.58 h |
| Qwen3-0.6B（线性层） | 1 | 52 min | - | 0.86 h |
| Qwen3-0.6B（SFT） | 1 | 62 min | 30 min | 1.5 h |
说明：
- SFT因涉及复杂Prompt构造与长序列生成，训练与推理成本更高
- 线性层分类虽训练时间较长（batch较小），但无额外推理开销
4.3 吞吐量测试（RPS）
在RTX 3090上测试批量推理吞吐能力（Batch Size=16）：
| 模型 | 推理引擎 | Max Output Tokens | RPS |
|---|---|---|---|
| BERT | HF | - | 60.3 |
| Qwen3-0.6B（线性层） | HF | - | 38.1 |
| Qwen3-0.6B（SFT） | HF | 8 | 13.2 |
| Qwen3-0.6B（SFT） | vLLM | 8 | 27.1 |
分析：
- BERT凭借简洁结构实现最高吞吐
- SFT模式受限于自回归生成机制，速度最慢
- 使用vLLM可使SFT推理性能提升一倍以上
5. 方法优劣分析与选型建议
5.1 线性层分类优势
- ✅高精度：F1达0.949，为当前最优
- ✅推理快：单次前向传播即可输出结果
- ✅易于部署：兼容标准ONNX/TensorRT等优化工具
- ❌需修改模型结构：不适合纯API调用场景
适用场景：追求极致性能的生产系统、需要高频调用的在线服务
5.2 SFT分类优势
- ✅无需改模型：保持原生LLM接口一致性
- ✅可解释性强：支持思维链输出，便于调试
- ✅迁移性强：同一Prompt模板可用于多任务
- ❌推理慢：依赖生成式解码，延迟高
- ❌资源消耗大：显存占用高，难以并发
适用场景：低频调用、需人工审核、强调可解释性的业务
5.3 Zero-Shot能力评估
Qwen3-0.6B在未训练情况下，Zero-Shot准确率约为79%，说明其具备一定通用语义理解能力，但对于精细分类任务仍需微调增强。
值得注意的是，启用“Think”模式仅带来约1%的提升，但推理时间增加近20倍（HF Batch推理），性价比偏低。
6. 总结
本文系统评测了Qwen3-0.6B在Ag_news文本分类任务中的三种使用方式，并与BERT基线进行了全面对比。主要结论如下：
- 性能方面：Qwen3-0.6B通过线性层微调可实现F10.949，小幅领先于BERT的0.945，证明小尺寸LLM在特定任务中具备竞争力。
- 效率方面：BERT在训练和推理速度上全面占优；Qwen3-0.6B的SFT方案因生成机制限制，RPS仅为BERT的1/4~1/2。
- 方法选择：
- 若追求高精度+高吞吐→ 推荐线性层微调
- 若强调可解释性+灵活性→ 可考虑SFT+Prompt
- 若仅做初步探索 → 可尝试Zero-Shot，但效果有限
未来可进一步探索方向包括：
- 使用GRPO等强化学习方法优化思维链生成
- 蒸馏大模型生成的Reasoning轨迹用于小模型训练
- 扩展至中文文本分类任务及更复杂数据集（如长文本、多标签）
总体而言，Qwen3-0.6B作为一款轻量级开源LLM，在合理微调策略下完全有能力胜任常规文本分类任务，尤其适合资源受限但对精度有要求的场景。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
