RouteRAG 用“统一策略+两阶段奖励”首次把文本/图谱多轮检索做成可学习的端到端强化学习问题，让小模型也能：
- 自己规划“何时查、查什么”
- 在正确率与检索成本之间做最优权衡 成果来源于中科院计算所：
一、痛点直击
| 老问题 | 现有方案短板 |
|---|---|
| 多跳问答需要“边想边查” | 多轮RAG只查文本，图谱贵且一次性查完，无法随推理动态补充 |
| 小模型做复杂推理 | 手工规则或静态提示，不会自己决定“要不要查、查文本还是查图谱” |
| 检索开销 | 图谱检索慢，固定流程常把无用关系也搬回来，费钱费时 |
RouteRAG核心目标：让小模型像“老司机”一样，自己决定何时踩油门前行（继续推理）、何时拐弯取货（检索文本/图谱/混合），还能绕开拥堵（避免冗余检索）。
二、方案速览
1. 统一动作空间
模型每一步只能做三件事，用特殊 token 触发：
<think> … </think>继续链式思考<search>[passage]/[graph]/[passage][graph] … </search>按需查文本、查图谱或混合查<answer> … </answer>给出最终答案
2. 三段式检索引擎
| 模式 | 实现 | 适用场景 |
|---|---|---|
| 文本检索 | DPR 向量相似度 | 单跳、事实召回 |
| 图谱检索 | HippoRAG-2 个性化 PageRank 多跳扩散 | 多跳、关系推理 |
| 混合检索 | RRF 融合两路排名 | 不确定时“全都要” |
3. 两阶段强化学习（GRPO）
- Stage1只给“答对”奖励 → 模型先学会输出正确结果
- Stage2加入“效率”奖励：答对前提下，检索时间低于 batch 平均则加分，高于则扣分 → 模型学会“能少查就少查”
三、实验亮点
- 小模型逆袭
Qwen2.5-3B RouteRAG 在多跳数据集 2Wiki、MuSiQue 上 F1 分别达 64.1、39.3，远超同尺寸 Search-R1（50.8、30.9），追平甚至超过 GPT-4o-mini 版图谱基线。 - 训练数据省
仅用 1 万条 HotpotQA 训练，平均效果优于用 17 万条训练的 Search-R1，样本效率↑。 - 消融验证
- 去掉 Stage2 效率奖励 → 检索轮次+3~20%，F1 下降 0.5-1.1
- 固定单检索模式 → 混合动态选择平均 F1 再提 1-2 点
四、案例对比
问：Johnny Pemberton 在 NBC 情景喜剧里饰演 Bo Thompson，这部剧的创剧人是谁？
| 阶段 | 模型行为 |
|---|---|
| 训练前 | 幻觉成“That ’70s Show 创剧人是 Steven Molaro”，检索也救不回来 |
| 训练后 | 先查“Johnny Pemberton Bo Thompson”→ 确认剧集为 Superstore；再查“Superstore creator”→ 返回 Justin Spitzer，答案正确且仅 2 次检索 |
传送门：
RouteRAG: Efficient Retrieval-Augmented Generation from Text and Graph via Reinforcement Learning论文地址: https://arxiv.org/pdf/2512.094如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
