AI人工智能-RAG方法-第十四周（小白）

一、RAG到底是什么？

RAG是Retrieval Augmengted Generation(检索增强生成)的缩写，核心逻辑特别好理解——就像我们写作文时，先查资料再动笔，而不是凭脑子硬记硬写。

简单说：AI回答问题时，不会只靠自己“记住”的知识，而是从外部文档库（或搜索引擎）里检索出和问题相关的“参考资料”，再把这些资料和问题一起传给大模型，让大模型基于“参考资料”生成回答。

它解决的核心问题是大模型的痛点——模型幻觉（就是AI瞎编答案）

二、RAG的核心流程

1. 用户提问：比如“RAG怎么提升回答准确性”
2. 检索相关信息：系统从文档库/搜索引擎里，找出和问题相关的文本片段（比如RAG的原理、优势文档）
3. 增强上下文：把“用户问题+检索到的相关资料”整合起来，形成“增强版提问”
4. 大模型生成：大模型只看“增强版提问”，基于里面的事实资料写回答
5. 输出结果：不仅给答案，还能标注资料来源（比如“来自《RAG技术白皮书》第5页”）

三、RAG的5大核心优势（为什么要用RAG）

1. 可扩展性强：不用把AI模型做的超大（省成本），想加新知识直接更新文档库，不用重新训练模型。比如公司出了新产品，直接把产品手册放进文档库，AI 就会回答相关问题，不用改模型。
2. 准确性高：回答基于真实文档，少瞎编。比如医疗 AI 用 RAG 查《柳叶刀》论文，不会乱给治疗建议。
3. 可控性好：知识能随时更、定制化。比如政策变了，替换文档库里的旧政策文档，AI 就会按新政策回答。
4. 可解释性强：能告诉用户“答案来自哪”（比如某本书某页、某份表格），不像纯大模型“凭感觉”回答，适合需要溯源的场景（比如医疗、法律）
5. 多功能性：能做回答、总结、聊天等。比如既能回答 “什么是 RAG”，也能总结 RAG 的优势，还能和用户聊 RAG 的应用场景。

四、RAG的难点

（图片里红色框是“容易出错的地方”，下划线是“必须做的步骤”，分两大流程）

1.索引阶段（相当于“整理资料”，开发时做）

• 文档拆分错了：比如把一个完整的知识点拆成两段，导致检索时找不到完整信息
• 向量转换不准：其纳入模型把文字转成向量时出错，语义相近的文字没被识别
• 数据库存错了：处理后的文档没有正确存入向量数据库，后续检索不到

2.查询阶段（相当于“找资料+用资料”，用户使用时做）

• 检索不到相关资料：比如用户问“RAG时检索模块怎么工作”，但文档库里没有相关内容
• 召回的资料不相关：嵌入模型找了一堆“看起来像”但实际无关的文档（比如把“RAG训练”当成"RAG检索"）
• 重排序排错了：把不相关的文档排在前面，有用的排在后面
• 资料格式不对：检索到的资料是表格，但没有转换成文字，大模型看不懂

五、RAG的关键步骤：从文档到回答的全流程

第一步：文档数据预处理（把“杂乱文档”变“好用的资料”）

原始文档可能是PDF,Word,Excel，网页等，格式乱、内容杂，必须先“整理”，目标是3个：

1. 结构化：每个片段都要有“来源标识” + “核心内容”
2. 短文本化：每个片段100-500字，比如一本1000页的书，拆成2000个小片段
3. 去冗余：删除广告、重复内容、格式标记，只留有用的意思

处理后是这样：