Andrej Karpathy 带你深入理解 LLM，看完真的能入门

本文主要根据我的赛博导师 Karpathy 的视频《Deep Dive into LLMs like ChatGPT》整理，非常适合刚入门 AI 的朋友建立关于大语言模型（Large Language Model，下文统称为 LLM）的全局观，对非技术的朋友也非常友好～

我刚学习 AI 的时候，有很多这样的问题：

1. 经常听到的“调参”是什么意思？
2. 为什么模型有时会一本正经地胡说八道？
3. 推理模型真的会思考吗😧
4. Tokenization、SFT、RLHF这些又是什么！

…

别急，希望看完本文（也强烈推荐看原视频哦），你会对以上问题有个清楚的答案！

Q：开发像 ChatGPT 这样的 LLM 一共需要多少步

A：只需要三步：预训练 、监督微调和强化学习（后训练 Post-training，指的就是后面两步）

不开玩笑，真要开始学了（

1. 预训练（Pre-training）

预训练是成本最贵、也最耗时的阶段，通过在海量互联网文本上训练模型来预测下一个词（Token），构建出一个基础模型（Base Model）。

1.1 数据收集与处理

如图，收集到的原始数据需要经过多步的过滤和清洗，以确保数据的质量、多样性：

• URL过滤：移除包含恶意软件、垃圾邮件等不良网站的 URL
• 文本提取：从原始 HTML 代码中提取正文内容，去除导航栏、广告、代码标记等无关信息
• 语言过滤：通过语言分类器筛选出特定语言的文本，这一步决定了模型未来的多语言能力
• 去重与PII移除：去除重复内容，并识别和删除个人身份信息（PII），如地址、号码等

1.2 分词（Tokenization）

分词过程是将原始文本转换为神经网络能处理的一维符号（Token）序列，也就是将人类的语言翻译成大模型的语言。

业界普遍使用字节对编码（Byte Pair Encoding, BPE）算法或其变体，可以将文本中连续的、高频出现的符号对合并成一个新的 Token，从而在压缩序列长度的同时，构建一个高效的词汇表。

如图，我们看到的是“Hello World!”，而大模型看到的实际是一串数字，比如下图中“19923, 4495, 3”。

诶，为什么这里用的是“比如”？因为每个模型的训练数据、算法和协议会有差异，所以同一段文本在不同模型中得到的分词序列（Token ID 序列）是不一样的。如图，“Hello World!”在 Qwen2.5-72B 模型看来就是“9707, 4337, 0”。

1.3 训练神经网络

训练神经网络的核心目标是预测序列中的下一个 Token。

在训练开始时，模型的参数是完全随机设定的。模型接收一段 Token 序列作为上下文，将序列输入到神经网络中，然后通过计算一个数学表达式，预测下一个 Token 的概率分布。

可以将模型理解为一个巨大的数学表达式，参考下图，会将 Token 输入和参数混合在一起，进行数学运算，然后预测概率。

因为模型是由输入的数据训练的，我们知道正确的下一个 Token 是什么。然后，模型就会计算预测概率与正确答案之间的差异（称为损失），通过不断调整参数（也称权重），让损失降低，也就是提高正确 Token 的预测概率。

训练的本质就是找到一组最优的参数设置，使得模型能够最好地拟合训练数据中的模式。可以将这个训练过程想象成操作 DJ 设备，你要不断调整设备上的旋钮，使得出来的效果刚刚好。

没错，模型名称中的数字代表的就是参数数量。比如下面这个模型，Qwen3-Next Instruct，80B（billions of parameters）指的是模型总共包含 800 亿个参数，A3B 代表只有 3B 参数被激活和使用。

这意味着每次生成 Token 时，实际参与计算的参数量会大幅减少，那么计算消耗的资源也会减少，也就是说，单位时间内可以处理更多的 Token 或用户请求。

1.4 推理（Inference）

训练完成后，模型参数会被固定下来，然后进入推理阶段，即生成新文本。

用户输入的文本（Prompt）作为初始上下文。模型基于这个上下文预测下一个 Token 的概率分布，然后从分布中随机采样（Sampling）一个 Token。这个新采样的 Token 会被添加到上下文末尾，成为下一次预测的新输入。如此循环，模型便逐个 Token 地生成了完整的回答。

注意这里的关键词：随机，这也就解释了为什么即使输入相同，模型每次也会生成不同的的答案。

另外，概率高的 Token 更可能被选中，但不是唯一的可能。在实际应用中，Temperature（温度）是控制概率分布“尖锐”程度的参数。低 Temperature 意味着概率分布更尖锐 = 出现概率高的 Token 被选中的可能性更大 = 生成的文本更具确定性。

小结

预训练阶段的最终产物被称为基础模型，相当于一个互联网文档模拟器（internet document simulator），能够生成类似输入数据的文字，但不具备对话能力，无法理解指令或问题。

模型通过参数来存储从海量互联网数据中学习到的信息，这些知识就像是对预训练数据的一种有损压缩（lossy compression），类似我们模糊的记忆（你就说记没记）。

另外，模型在推理时可以访问的上下文窗口，就像人类的工作记忆，容量有限但记忆更准确。

2. 监督微调（Supervised Fine-Tuning, SFT）

这个阶段的目标是将基础模型训练为一个能对话的AI 助手（Assistant）。

如图，监督微调会用一个全新的、高质量的对话数据集替换掉预训练时的互联网文本，并继续在基础模型上进行训练。

这个阶段的数据来源以下三个方面：

• 人工标注：标注员根据详细的标注指南（例如，要求回答做到“有用、真实、无害”）来编写各种各样的问题（Prompt）以及参考回答
• 专家参与：请专业领域（如编程、法律）的专家进行标注，以确保数据质量
• 合成数据：大量使用 LLM 来辅助生成对话数据，再人工编辑、筛选，以扩大数据集规模和多样性

为了让模型理解对话结构，还需要引入特殊的控制 Token（如[ASSISTANT]或im_start等），将多轮对话编码成单一的 Token 序列。

监督微调的本质是通过在这些“参考对话”上训练，让模型学会模仿回答。这就可以解释模型为什么会编造答案了。另外，我们常说的模型性格也是在这个阶段训练形成的。

那么，如何减少模型幻觉呢？

• 测试模型知识的边界，并在其知识盲区，向训练数据中添加如“对不起，我不知道”作为正确回答范例

• 让模型使用工具！比如通过上网搜索或写代码解决问题

3. 强化学习（Reinforcement Learning, RL）

强化学习的目标是让模型通过自主练习和探索（试错），发现最能稳定解决问题的路径。这个阶段能进一步提升模型能力，尤其是复杂推理能力。

3.1 可验证领域的 RL

在数学、编程等有明确正确答案的领域，RL 的应用流程如下：

1. 生成多种解决方案 (Rollouts)：针对一个问题，让模型生成上千种不同的解决过程
2. 自动评分：用一个程序或另一个 LLM 作为裁判，判断每个解题过程是否得出了正确答案
3. 强化训练：只在那些成功得出正确答案的序列上进行训练，这会“奖励”并强化模型学会正确解法

在 RL 阶段，模型会自发地学到一些复杂的认知策略，而不是被规定的，比如：

• 自我反思：“等等，让我重新检查一下这一步”
• 多角度验证：“我用另一种方法（比如建立方程）再算一遍，看看结果是否一致”
• 回溯修正：发现错误后返回并修正

经过这种训练的模型被称为“推理模型”或“思考模型”（Thinking Mode）。这种模型的回答一般更长，且会包含内部的思考过程，也能更准确地解决复杂问题。

• 模型需要 Token 来思考

模型生成的每一个 Token 都需要一次计算，但计算量是有限的。所以，为了解决复杂问题，模型必须学习将推理和计算分散到多个 Token 序列中，也就是生成中间步骤。

如下图，不推荐在一开始就给出答案，逐步推理得出答案的准确性会更高。

（感觉这也是一种“大力出奇迹”，比如 Claude Code 中用 Ultra Think 模式的效果会更好，因为很舍得花 token😂）

3.2 不可验证领域的 RL：RLHF

对于写作这类没有正确答案的领域，无法自动评分，于是有了基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）。

核心思想：训练一个“裁判”

1. 让模型针对一个创意性问题生成多个不同的回答
2. 请标注员对这些回答进行排序（从最好到最差）
3. 训练一个独立的神经网络，称为奖励模型 (Reward Model)，让它学习模仿人类的偏好和排序
4. 用这个奖励模型作为自动“裁判”，对 LLM 生成的大量回答进行打分，并据此进行强化学习

• 优点：让 RL 也能处理主观评价问题。对人类来说，给几个答案排序，比亲自写一个完美答案要容易很多，这大大降低了人工标注的成本
• 缺点：奖励模型本质上只是对人类偏好的一个粗略模拟，而且容易被钻空子。RL 过程特别擅长找到奖励模型的漏洞，然后产生一些毫无意义、但能骗取高分的答案。所以，RLHF 只能作为有限的微调方法，不能持续提升模型能力

总结

说了这么多，不知道有没有似曾相识的感觉，搭建 LLM 和学生时代的学习过程不是一样吗！

首先要通读教材（预训练），理解所有内容，打好基础。

然后看例题（监督微调），通过参考标准答案学习解题思路。

最后是刷题（强化学习），只知道题目和结果，要反复尝试后得出正确的方法。

区别可能是你每次只能学一个章节，但是 LLM 能学习海量数据。

LLM 现在的能力就像这个奶酪，看着没啥问题，但会有些随机的小坑，比如经典的错判“9.11 比 9.9 大”。因为模型的世界是由 Token 构成的（就是一堆数字），而不是我们看到的字符，所以模型在处理字符、计数、拼写相关任务时表现会不大好。

这里要注意，不能完全照搬大模型的回答，要保持判断，对自己交付的内容负责（bhys有点说教了，但真的是血泪教训😭）。

最后，Karpathy 还提到了未来发展方向（25年初的视频，预测好准！25年就是 Agent 之年！），和推荐的资源（详看参考资料）：

1. 多模态（Multimodality）：模型将原生支持文本、图像、音频的输入和输出，实现更自然的交互
2. 智能体（Agents）：模型将能执行更长期、多步骤的任务，从简单的问答工具演变为工作助手（比如 Manus！）
3. 普适化与隐形化（Pervasive & Invisible）：LLM 将深度集成到操作系统和各种应用中，成为无处不在的后台能力（参考豆包手机助手）
4. 计算机使用（Computer-Using）：模型将能代表用户在浏览器或应用程序中执行复杂的任务和操作（比如 ChatGPT Operator）
5. 测试时训练（Test-time Training）：探索让模型在推理过程中也能持续学习和更新参数的方法，而不再是“一次训练，永久固定”

最后的最后，还想再分享一下，很喜欢韦青老师在播客中提到的一点：在中文环境中，把 large language model 翻译成大语言模型是一个很大的误导。这一轮的大模型学的是文字，所以 LLM 实际上是大文字模型。中文是象形文字，文字只是语言的一部分，还有很多隐性的知识，比如声音、表情，是大模型还不能理解的。

好啦，感谢你看到这里😊欢迎在评论区交流讨论，如果有表述不当的地方，请随时指正！

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！