大模型 RAG 系统检索增强生成的幻觉抑制策略：从"自信编造"到"有据可依"
一、RAG 的幻觉困境：检索到了却不用，或者用了却编造
RAG（Retrieval-Augmented Generation）的核心思路是：先检索相关文档，再基于文档内容生成回答，从而减少大模型的幻觉。但实际落地中，RAG 并不能完全消除幻觉——大模型可能忽略检索到的文档，继续编造答案；可能将多个文档的信息错误拼接；可能对文档内容过度推断。更隐蔽的是"忠实幻觉"：回答看似基于文档，但实际上是对文档的曲解或断章取义。
RAG 系统的幻觉抑制需要从检索质量、生成约束和输出验证三个层面协同治理。
二、RAG 幻觉抑制架构
flowchart TD A[用户查询] --> B[检索层] B --> B1[查询改写与扩展] B --> B2[混合检索: 稠密+稀疏] B --> B3[相关性过滤] B1 --> C[上下文构建] B2 --> C B3 --> C C --> C1[文档去重与排序] C1 --> C2[上下文窗口管理] C2 --> D[生成层] D --> D1[约束提示词] D --> D2[引用标注生成] D --> D3[拒绝回答机制] D1 --> E[验证层] D2 --> E D3 --> E E --> E1[引用一致性校验] E --> E2[事实交叉验证] E --> E3[置信度评估] E1 --> F[可靠输出] E2 --> F E3 --> F2.1 检索层：提升检索质量
# retrieval_layer.py — RAG 检索层优化 # 设计意图：通过查询改写、混合检索和相关性过滤提升检索质量 from dataclasses import dataclass @dataclass class RetrievedDocument: doc_id: str content: str score: float source: str metadata: dict class RetrievalLayer: def __init__(self, dense_retriever, sparse_retriever, llm_client): self.dense_retriever = dense_retriever self.sparse_retriever = sparse_retriever self.llm_client = llm_client async def rewrite_query(self, query: str) -> list[str]: """查询改写：生成多个变体提高召回率""" prompt = f"""将以下查询改写为3个不同角度的搜索查询，保持语义不变： 原始查询: {query} 输出 JSON 数组: ["改写1", "改写2", "改写3"]""" response = await self.llm_client.chat(prompt, temperature=0.3) import json try: rewrites = json.loads(response) return [query] + rewrites[:3] except json.JSONDecodeError: return [query] async def hybrid_search( self, query: str, top_k: int = 10, dense_weight: float = 0.7, ) -> list[RetrievedDocument]: """混合检索：稠密检索 + 稀疏检索融合""" # 稠密检索（语义相似度） dense_results = await self.dense_retriever.search(query, top_k=top_k * 2) # 稀疏检索（关键词匹配） sparse_results = await self.sparse_retriever.search(query, top_k=top_k * 2) # Reciprocal Rank Fusion (RRF) 融合 rrf_scores = {} k = 60 # RRF 参数 for rank, doc in enumerate(dense_results): rrf_scores[doc.doc_id] = rrf_scores.get(doc.doc_id, 0) + dense_weight / (k + rank + 1) for rank, doc in enumerate(sparse_results): rrf_scores[doc.doc_id] = rrf_scores.get(doc.doc_id, 0) + (1 - dense_weight) / (k + rank + 1) # 按融合分数排序 doc_map = {doc.doc_id: doc for doc in dense_results + sparse_results} sorted_ids = sorted(rrf_scores, key=rrf_scores.get, reverse=True) results = [] for doc_id in sorted_ids[:top_k]: doc = doc_map[doc_id] results.append(RetrievedDocument( doc_id=doc.doc_id, content=doc.content, score=rrf_scores[doc_id], source=doc.source, metadata=doc.metadata, )) return results async def filter_by_relevance( self, query: str, documents: list[RetrievedDocument], threshold: float = 0.5, ) -> list[RetrievedDocument]: """相关性过滤：用 LLM 判断文档是否与查询相关""" filtered = [] for doc in documents[:5]: # 只对 Top-5 做精细过滤 prompt = f"""判断以下文档是否与查询相关。 查询: {query} 文档: {doc.content[:500]} 仅输出相关度分数(0-1):""" response = await self.llm_client.chat(prompt, temperature=0.0) try: score = float(response.strip()) if score >= threshold: filtered.append(doc) except ValueError: filtered.append(doc) # 解析失败时保留 return filtered if filtered else documents[:3] # 至少保留3个2.2 生成层：约束提示词与引用标注
# generation_layer.py — RAG 生成层约束 # 设计意图：通过约束提示词和引用标注减少生成幻觉 RAG_SYSTEM_PROMPT = """你是一个严格的问答助手。你必须遵守以下规则： 1. 只基于提供的参考文档回答问题，不要使用任何外部知识 2. 每个事实陈述必须标注来源，格式为 [文档ID] 3. 如果参考文档中没有足够信息回答问题，明确说"根据现有文档，我无法回答这个问题" 4. 不要对文档内容进行推断或延伸 5. 不要编造文档中未提及的数字、日期或事实 参考文档: {documents} 用户问题: {query} 请基于以上文档回答，并在每个事实后标注来源。如果文档中没有相关信息，请明确说明。""" class ConstrainedGenerator: def __init__(self, llm_client): self.llm_client = llm_client async def generate_with_citations( self, query: str, documents: list[RetrievedDocument], ) -> dict: """带引用标注的生成""" # 构建文档上下文 doc_text = "" for i, doc in enumerate(documents): doc_text += f"\n[文档{i+1}] (来源: {doc.source})\n{doc.content}\n" prompt = RAG_SYSTEM_PROMPT.format( documents=doc_text, query=query, ) response = await self.llm_client.chat(prompt, temperature=0.1) # 提取引用 citations = self._extract_citations(response, documents) return { "answer": response, "citations": citations, "num_docs_used": len(documents), } def _extract_citations( self, answer: str, documents: list[RetrievedDocument], ) -> list[dict]: """从回答中提取引用标注""" import re citations = [] citation_pattern = r'\[文档(\d+)\]' matches = re.findall(citation_pattern, answer) for match in set(matches): doc_idx = int(match) - 1 if 0 <= doc_idx < len(documents): citations.append({ "doc_id": documents[doc_idx].doc_id, "source": documents[doc_idx].source, "doc_index": doc_idx + 1, }) return citations2.3 验证层：引用一致性校验
# verification_layer.py — 输出验证层 # 设计意图：校验生成回答与检索文档的一致性，检测幻觉 from dataclasses import dataclass import json @dataclass class VerificationResult: is_reliable: bool hallucination_risk: str # low, medium, high issues: list[str] confidence: float class AnswerVerifier: def __init__(self, llm_client): self.llm_client = llm_client async def verify_answer( self, query: str, answer: str, documents: list[RetrievedDocument], ) -> VerificationResult: """验证回答的可靠性""" issues = [] # 检查1: 回答是否包含引用 if "[" not in answer and "文档" not in answer: issues.append("回答未标注任何引用来源") # 检查2: 引用一致性（AI 辅助） consistency = await self._check_citation_consistency( query, answer, documents ) issues.extend(consistency.get("issues", [])) # 检查3: 是否有拒绝回答标记 has_refusal = any( keyword in answer for keyword in ["无法回答", "没有足够信息", "文档中未提及"] ) # 计算置信度 confidence = 1.0 if issues: confidence -= 0.2 * len(issues) if has_refusal: confidence = min(confidence, 0.5) risk = "low" if len(issues) >= 2 or confidence < 0.5: risk = "high" elif len(issues) >= 1 or confidence < 0.7: risk = "medium" return VerificationResult( is_reliable=risk != "high", hallucination_risk=risk, issues=issues, confidence=round(max(0, confidence), 2), ) async def _check_citation_consistency( self, query: str, answer: str, documents: list[RetrievedDocument], ) -> dict: """AI 辅助检查引用一致性""" doc_text = "" for i, doc in enumerate(documents): doc_text += f"[文档{i+1}]: {doc.content[:300]}\n" prompt = f"""检查以下回答是否与参考文档一致，是否存在幻觉。 用户问题: {query} 回答: {answer} 参考文档: {doc_text} 请检查: 1. 回答中的每个事实是否都能在文档中找到依据 2. 是否有回答编造了文档中不存在的信息 3. 引用标注是否正确（引用的文档确实包含该信息） 输出 JSON: {{"issues": ["问题描述1", ...], "has_hallucination": true/false}}""" response = await self.llm_client.chat(prompt, temperature=0.0) try: return json.loads(response) except json.JSONDecodeError: return {"issues": [], "has_hallucination": False}四、边界分析与架构权衡
检索质量的瓶颈：RAG 的幻觉抑制效果上限由检索质量决定。如果检索不到相关文档，再强的生成约束也无济于事。建议在检索层投入更多优化（查询改写、混合检索、相关性过滤），而非过度依赖生成约束。
约束提示词的"过度约束"：过于严格的约束提示词可能导致模型拒绝回答很多问题，即使文档中有相关信息。建议设置"宽松"和"严格"两种模式，根据场景切换。
AI 验证的循环依赖：用 AI 验证 AI 的输出，验证本身也可能产生幻觉。建议将 AI 验证作为辅助信号，结合规则检查（引用格式、关键词匹配）构建多层验证。
延迟与成本的权衡：完整的 RAG 管线（查询改写 + 混合检索 + 约束生成 + AI 验证）可能需要 5-10 秒和多次 LLM 调用。对于实时对话场景，建议省略查询改写和 AI 验证，只保留核心的检索+生成。
五、总结
RAG 系统的幻觉抑制需要从检索质量、生成约束和输出验证三个层面协同治理。落地要点：混合检索（稠密+稀疏 RRF 融合）提升召回率；约束提示词强制引用标注和拒绝回答机制；AI 辅助验证引用一致性检测幻觉。关键权衡：检索质量决定上限、约束越强越安全但可能过度拒绝、AI 验证辅助但不可完全依赖、完整管线延迟高需按场景裁剪。
