Unsloth保姆级教程：5步完成Qwen1.5模型微调，简单易懂-编程阁

Unsloth保姆级教程：5步完成Qwen1.5模型微调，简单易懂

1. 教程目标与前置准备

在大语言模型（LLM）的微调实践中，资源消耗高、训练速度慢是常见痛点。Unsloth 作为一款开源的 LLM 微调加速框架，通过底层优化显著提升了训练效率——最高可达2倍速度提升，显存占用降低70%。本教程将带你使用 CSDN 星图镜像中的unsloth环境，仅需5个步骤，完成对 Qwen1.5 系列模型的高效微调。

1.1 学习目标

完成本教程后，你将掌握：

如何验证并进入 Unsloth 的运行环境
使用 FastLanguageModel 加载 Qwen1.5 模型
构建适用于 Qwen 的 LoRA 微调流程
执行完整的 SFT（监督微调）训练任务
保存和推理微调后的模型

1.2 前置知识要求

建议具备以下基础：

Python 编程能力
PyTorch 和 Hugging Face Transformers 基础使用经验
对 LoRA（Low-Rank Adaptation）微调原理有基本了解

2. 环境验证与激活

在开始微调前，首先需要确认已正确加载包含 Unsloth 的镜像环境。

2.1 查看 Conda 环境列表

执行以下命令查看当前可用的 Conda 环境：

conda env list

你应该能在输出中看到名为unsloth_env的环境。

2.2 激活 Unsloth 环境

切换至专用环境以确保依赖项正确加载：

conda activate unsloth_env

2.3 验证 Unsloth 安装状态

运行内置模块检查是否安装成功：

python -m unsloth

若无报错且显示版本信息，则说明环境准备就绪。

提示：如遇版本过旧问题，可通过以下命令更新：
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

3. 模型加载与配置设置

本节将介绍如何使用 Unsloth 快速加载 Qwen1.5 模型，并进行必要的参数配置。

3.1 导入核心库

from unsloth import FastLanguageModel import torch from datasets import load_dataset from trl import SFTTrainer from transformers import TrainingArguments, AutoTokenizer from peft import LoraConfig import gc

3.2 设置随机种子

为保证实验可复现性，固定随机种子：

torch.manual_seed(42)

3.3 加载预训练模型

使用FastLanguageModel.from_pretrained接口加载本地或远程的 Qwen1.5 模型。此处假设模型路径为本地目录：

model, tokenizer = FastLanguageModel.from_pretrained( model_name="pretrain_models/Qwen/Qwen1.5-32B-Chat/", max_seq_length=2048, dtype=torch.bfloat16, load_in_4bit=True # 启用4位量化以节省显存 )

注意：请根据实际硬件条件调整max_seq_length和dtype。若 GPU 不支持 bfloat16，可改用torch.float16。

4. LoRA 微调配置与数据处理

LoRA 是当前主流的轻量级微调方法，Unsloth 对其进行了深度优化。

4.1 配置 LoRA 参数

model = FastLanguageModel.get_peft_model( model, r=64, # Rank大小 target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"], # Qwen结构中的关键投影层 lora_alpha=16, lora_dropout=0, bias="none", use_gradient_checkpointing=True, random_state=42, max_seq_length=2048 )

参数说明：

参数	说明
`r`	LoRA 的秩，控制新增参数量，通常取 8~64
`target_modules`	要注入适配器的模块名称
`lora_dropout`	正则化 dropout 概率
`use_gradient_checkpointing`	开启梯度检查点以进一步降低显存

4.2 数据集准备与格式化

我们使用yahma/alpaca-cleaned作为示例数据集：

dataset = load_dataset("yahma/alpaca-cleaned", split="train")

由于 Qwen 使用特定的 chat template，需自定义格式化函数：

def formatting_prompts_func(examples): instructions = examples["instruction"] inputs = examples["input"] outputs = examples["output"] texts = [] for instruction, input_text, output in zip(instructions, inputs, outputs): # 构造符合 Qwen chat template 的对话结构 messages = [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": f"{instruction}. {input_text}"}, {"role": "assistant", "content": output} ] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=False ) texts.append(text) return {"text": texts} # 应用映射 dataset = dataset.map(formatting_prompts_func, batched=True)

5. 训练过程与结果分析

完成模型与数据准备后，即可启动训练。

5.1 配置训练参数

trainer = SFTTrainer( model=model, tokenizer=tokenizer, train_dataset=dataset, dataset_text_field="text", max_seq_length=2048, packing=False, args=TrainingArguments( per_device_train_batch_size=4, gradient_accumulation_steps=4, warmup_steps=5, learning_rate=2e-4, fp16=not torch.cuda.is_bf16_supported(), bf16=torch.cuda.is_bf16_supported(), logging_steps=5, optim="adamw_8bit", weight_decay=0.01, lr_scheduler_type="linear", seed=42, output_dir="output/qwen15-unsloth-lora", save_steps=50, max_steps=100 # 可根据需求调整 ) )

5.2 监控资源使用情况

在训练前后打印 GPU 内存占用，便于评估优化效果：

gpu_stats = torch.cuda.get_device_properties(0) start_gpu_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3) max_memory = round(gpu_stats.total_memory / 1024 / 1024 / 1024, 3) print(f"GPU: {gpu_stats.name}, Total Memory: {max_memory} GB") print(f"Initial Reserved Memory: {start_gpu_memory} GB")

5.3 启动训练

trainer_stats = trainer.train()

训练结束后输出性能指标：

used_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3) used_memory_for_lora = round(used_memory - start_gpu_memory, 3) used_percentage = round(used_memory / max_memory * 100, 3) print(f"Training Time: {round(trainer_stats.metrics['train_runtime'] / 60, 2)} minutes") print(f"Peak Reserved Memory: {used_memory} GB ({used_percentage}%)") print(f"Memory Used for LoRA: {used_memory_for_lora} GB")

6. 模型保存与推理测试

微调完成后，保存适配器权重并进行推理验证。

6.1 保存 LoRA 权重

model.save_pretrained("output/qwen15-unsloth-lora") tokenizer.save_pretrained("output/qwen15-unsloth-lora")

6.2 加载模型用于推理

model, tokenizer = FastLanguageModel.from_pretrained( model_name="output/qwen15-unsloth-lora", max_seq_length=2048, dtype=torch.float16, load_in_4bit=True ) # 启用快速推理模式 FastLanguageModel.for_inference(model)

6.3 执行生成测试

prompt = "请继续斐波那契数列：1, 1, 2, 3, 5, 8" inputs = tokenizer([prompt], return_tensors="pt").to("cuda") outputs = model.generate( **inputs, max_new_tokens=64, use_cache=True ) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

7. 总结

本文围绕Unsloth 框架在 Qwen1.5 模型上的微调实践，系统地介绍了从环境验证到模型推理的完整流程。通过五个清晰步骤——环境激活、模型加载、LoRA 配置、训练执行与结果保存，实现了高效的参数高效微调（PEFT）。

相比传统基于 Transformers + PEFT 的方案，Unsloth 在以下方面带来显著优势：

训练速度提升约30%-40%
显存占用减少达70%
支持更多现代优化技术（如嵌套内核、自定义反向传播）

这些改进使得在单张消费级显卡上微调数十亿参数的大模型成为可能。

未来我们将深入剖析 Unsloth 的底层实现机制，包括其如何利用 Triton 编写高性能 CUDA 内核，以及如何重构前馈网络与注意力模块以实现极致优化。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

Unsloth保姆级教程：5步完成Qwen1.5模型微调，简单易懂