想象你在培养一个人才：
- 第一阶段：让他接受通识教育，学习语文、数学、历史、科学……成为一个知识面广博的"通才"
- 第二阶段：根据职业方向，进行专业训练，比如学医学、法律或工程，成为某个领域的"专家"
大模型的训练过程，与此惊人地相似。
GPT-4、Claude、文心一言等大模型，都不是一蹴而就的。它们的诞生经历了两个关键阶段：预训练（Pre-training）和微调（Fine-tuning）。前者打造"通才"，后者塑造"专家"。今天，我们就来拆解这个从通用到专用的技术蜕变过程。
一、预训练：用海量数据打造"通用智能"
什么是预训练？
预训练，就是用海量文本数据训练一个"什么都懂一点"的通用大模型。
这些数据可能来自：
- 互联网上的网页、论坛、博客
- 数字化的书籍、论文、新闻
- 代码库、维基百科、社交媒体……
数据量有多大？以GPT-3为例，训练数据量达到45TB，相当于数千亿个单词。模型在这些数据中学习：
- 语言的语法和词汇
- 常识知识（地球是圆的、水往低处流）
- 逻辑推理能力
- 基础的写作、翻译、代码能力
这个阶段训练出来的模型，我们称之为Pre-trained Model（预训练模型）。它就像一个博学的通才，对各种话题都有基础理解，但还不够"专业"。
预训练的局限性
预训练模型虽然强大，但存在明显短板：
1. 缺乏领域专业性
- 它能聊医学常识，但无法像专业医生一样诊断病情
- 它能写代码，但可能不符合你公司的编码规范
2. 不懂"你想要什么"
- 你问它一个问题，它可能给出冗长的、不着重点的回答
- 它不知道什么是"好答案"，只是在统计规律上预测下一个词
3. 可能输出有害内容
- 因为训练数据中包含互联网上的各种内容，模型可能输出偏见、错误或不当言论
这就是为什么我们需要微调——把"通才"训练成符合特定需求的"专家"。
二、微调第一步：SFT，教模型"什么是好答案"
微调分为两个关键阶段。第一阶段叫SFT（Supervised Fine-Tuning，监督微调）。
SFT的核心思想：树立榜样
SFT就像给孩子树立榜样——告诉他：“你应该这样做。”
在这个阶段，我们需要准备指令微调数据。每条数据包含两个部分：
| 字段 | 说明 | 示例 |
|---|---|---|
| Input（输入） | 用户的问题 | “北京的天气怎么样？” |
| Output（输出） | 标准答案 | “北京目前气温15°C，多云，空气质量良好。” |
数据从哪来？
这些"标准答案"通常通过以下方式获得：
1. 专家标注
- 雇佣大量专业人员，针对每个问题给出高质量答案
- 比如医疗领域模型，需要医生标注；法律模型，需要律师标注
2. 质量筛选
- 从现有数据中筛选出高质量的问答对
- 比如Stack Overflow上的高赞回答、知乎的优质答案
3. 数据规模
- 通常需要数千到数十万条高质量数据
- 数据越多、质量越高，模型表现越好
SFT训练后的效果
通过SFT训练，模型学会了：
- 按照人类期望的方式回答问题
- 理解指令的意图（比如"总结一下"vs"详细解释"）
- 输出结构化、专业化的内容
我们把训练后的模型称为SFT Model。但这还不够——我们只告诉了模型"该做什么"，还没告诉它"不该做什么"。
三、微调第二步：Alignment，教模型"什么是坏答案"
这就引出了微调的第二阶段：Alignment（对齐）。
Alignment的核心思想：纠正错误
如果说SFT是"树立榜样"，那么Alignment就是"纠正错误"——告诉模型：“这样做不对，应该避免。”
当SFT模型上线后，我们会收集用户的真实反馈：
- 点赞👍：说明回答质量好
- 点踩👎：说明回答有问题（啰嗦、答非所问、不当内容等）
这些反馈成为Alignment阶段的重要数据来源。
Alignment的数据格式
Alignment数据与SFT数据不同。对于同一个问题，我们提供一对正反答案：
| 字段 | 说明 | 示例 |
|---|---|---|
| Input | 用户问题 | “如何快速减肥？” |
| Accepted | 接受的答案 | “健康减肥需要合理饮食+适量运动，建议咨询营养师。” |
| Rejected | 拒绝的答案 | “不吃饭就能快速瘦！” |
通过大量这样的对比数据，模型学会了：
- 避免输出有害、错误、不负责任的内容
- 拒绝回答不该回答的问题
- 更精准地理解"什么是好答案"
训练后，我们得到Aligned Model（对齐模型）——这是最终可以部署的生产级模型。
Alignment数据的优势
相比SFT数据，Alignment数据更容易获取：
1. 自动收集
- 用户点赞/点踩自动记录
- AB测试中不同答案的表现对比
- 日志分析识别用户满意度
2. 持续优化
- 系统上线后，数据源源不断
- 可以不断进行对齐训练，持续提升模型质量
四、对齐算法：PPO vs DPO
在Alignment阶段，业界常用两种算法：
PPO（Proximal Policy Optimization）
- 基于强化学习：把模型当作智能体，通过奖励信号进行训练
- 优点：理论上更灵活，能处理复杂的优化目标
- 缺点：训练过程复杂，调参难度大，计算成本高
DPO（Direct Preference Optimization）
- 直接优化偏好：更简单直接地利用偏好数据
- 优点：训练稳定，计算效率高，易于实现
- 缺点：理论灵活性略低于PPO
当前趋势：DPO已成为主流选择，因其简单高效的特点，在工业界广泛应用。
五、完整流程回顾：从"通才"到"专家"
让我们串联整个流程：
阶段一：预训练
- 输入：45TB海量文本数据
- 过程：学习语言、知识、逻辑
- 输出：Pre-trained Model（通用大模型）
- 特点：知识面广，但不够专业
阶段二：SFT（监督微调）
- 输入：数万条专家标注的"输入-输出"对
- 过程：学习"什么是好答案"
- 输出：SFT Model
- 特点：能按人类期望回答，但可能犯错
阶段三：Alignment（对齐）
- 输入：用户反馈的"接受-拒绝"答案对
- 过程：学习"什么是坏答案"，进行纠正
- 输出：Aligned Model
- 特点：安全、可靠、符合人类价值观
最终结果
部署上线，服务用户，并持续收集反馈进行迭代优化。
六、预训练与微调：通识教育与专业训练的完美结合
回到开头的类比：
- 预训练就像通识教育，让模型成为"博学的通才"，具备广泛的基础能力
- SFT就像专业训练，让模型掌握"如何正确完成任务"
- Alignment就像职业伦理培训，让模型知道"什么不该做"
这三个阶段环环相扣，缺一不可：
- 没有预训练，模型缺乏基础能力
- 没有SFT，模型不知道如何满足人类需求
- 没有Alignment，模型可能输出有害内容
这也是为什么我们很少从零训练大模型，而是基于开源模型进行微调——预训练成本高昂（数百万美元），但微调相对廉价（数千到数万美元），且能快速适配特定场景。
大模型的训练艺术，本质上是通用能力与专业能力的平衡、效率与效果的权衡、技术实现与人类价值的对齐。
掌握这套逻辑，你就理解了当今AI时代最核心的技术范式。无论是使用ChatGPT，还是训练自己的行业模型，这套"预训练+微调"的框架，都是你绕不开的基础知识。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
