文档表格带图像、跨页列解析处理及知识图谱缓解RAG内外部知识-编程阁

本文介绍两大大模型优化技术：一是基于知识图谱解决RAG系统内外部知识冲突问题，通过构建知识图谱、检索核心路径和基于熵值过滤冲突路径，提高大模型回答可靠性；二是多模态文档大模型的表格专项优化，包括表格内嵌图像还原和跨页/跨列表格合并技术，通过视觉一致性强化学习和类型引导表格合并等方法，提升复杂表格解析能力。

继续回到RAG和文档智能方向。

来看基于知识图谱缓解大模型RAG内外部冲突思路，用利用知识图谱来做，把杂乱的信息整理成 “清晰的关系图”，再挑出 “靠谱的信息”，最后让只基于靠谱信息说话，其本质上是信息筛选、去噪声的思路。

另一个思路是多模态文档大模型方面的新动静，继续刷榜，新的故事是“表格中带图+跨页/跨列表格合并”，可以看看怎么做的。

多总结，多归纳，**多从底层实现分析逻辑，**会有收获。

一、基于知识图谱缓解大模型RAG内外部冲突思路

来看知识图谱结合RAG用于去噪进展。

主要讲的是内部参数知识与检索到的外部知识存在事实级冲突问题，以前学过的知识（叫“内部知识”），但这些知识是“过期的”——比如2023年之后的新信息、某些专业细节，它可能记混或不知道。

所以遇到问题时，先从最新的外部数据库里搜相关资料（叫“外部知识”），再结合自己的内部知识回答，但是有时候外部搜来的新信息，和它脑子里记的旧知识对着干（比如内部记得“某城市属于A省”，外部搜出来是“属于B省”），AI分不清哪个对，就会说矛盾的话，甚至瞎编。

现有方案分为两类，通过调整输出token概率分布平衡内外部知识，但计算开销大，缺乏语义关联。或者通过语义对齐整合知识，但仅处理表面冲突，无法捕捉深层事实关系。如下图所示：

所以，搞了个缓解思路，也就是用利用知识图谱来做，把杂乱的信息整理成 “清晰的关系图”，再挑出 “靠谱的信息”，最后让只基于靠谱信息说话。

形式化过程如下：

所以，看一个工作：

《TruthfulRAG: Resolving Factual-level Conflicts in Retrieval-Augmented Generation with Knowledge Graphs》，https://arxiv.org/pdf/2511.10375。

看几个核心模块。

1、图构建

将非结构化内容转为结构化KG。step1-语义分割，将检索内容C分割为语义连贯的片段——>step2-三元组提取，利用LLM（RAG自带生成模型M）从每个片段中提取三元组(h,r,t)（h=头实体，r=关系，t=尾实体），聚合为全量三元组—>KG构建；

2、图检索

获取与查询对齐的核心推理路径。

step1-关键元素提取，从用户查询q中提取目标实体、关系、意图；

—>step2-关键实体/关系筛选，通过语义相似度（基于allMiniLM-L6-v2嵌入的余弦相似度）选Top-k关键实体和关系；

—>step3-初始路径生成，从每个e∈Eimp出发进行两跳遍历【从关键实体出发进行两跳遍历（如“CiudadDeportiva→NuevoLaredo→Sinaloa”），可收集多实体关联的初始推理路径，避免单跳路径无法覆盖复杂事实关系的问题（如无法建立“体育场馆-城市-州”的多层归属关系）】，收集初始推理路径；

—>step4-核心路径筛选，进行评分Ref§=α・(实体覆盖率)+β・(关系覆盖率)，控制实体/关系权重，选Top-K路径作为核心路径；

—**>step5-路径结构化表示**，每个核心路径表示为实体-关系序列（如e₁→r₁→e₂）+路径中关键实体及属性+路径中关键关系及属性；

3、冲突解决

基于熵值过滤冲突路径，核心是置信度量化（熵值计算）。

几个步骤：step1-计算参数生成熵Hparam，即LLM仅基于问题生成答案的熵；

—>step2-增强生成熵Haug，LLM基于问题和路径生成答案的熵；

—>step3-熵差计算与冲突路径筛选，增强生成熵减去参数生成熵，得到熵差ΔHp=Haug-Hparam，ΔHp>0表示路径p与LLM内部知识冲突；

—>step4-筛选ΔHp>τ（τ为模型特定阈值：GPT-4o-mini/Mistral-7B-Instruct取1，Qwen2.5-7B-Instruct取3）的路径为修正路径；

—>step5-最终生成：LLM基于问题和修正路径生成响应。

4）评测及结论

评测数据集包括FaithEval（逻辑级冲突）、MuSiQue（多跳事实冲突）、RealtimeQA（时间冲突）、SQuAD（知识整合），评估指标包括准确率（ACC）【正确答案占比】、上下文精确率（CPR）【有效内容占处理后上下文的比例】；

对比基线包括1.DirectGeneration（仅参数知识）、StandardRAG（直接用检索文本）、KRE（提示优化）、COIECD（解码调整）以及FaithfulRAG（自反思）。

核心结论是结构化三元组构建上下文可增强LLM对外部知识的置信度，支持可信推理。

二、文档大模型表格专项优化思路

继续看文档智能进展，多模态文档大模型方面的新动静，继续刷榜，新的故事是“表格内嵌图像还原 + 跨页/跨列表格合并” 。

看最近的《MonkeyOCR v1.5，MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns》，https://arxiv.org/pdf/2511.10390, https://github.com/Yuliang-Liu/MonkeyOCR,核心看几个点。

1、温习下现有路线

流水线方法（如 PP-StructureV3），将解析拆分为布局检测、文本识别等独立子任务，易发生误差累积；端到端模型（如 GPT-4o），采用高分辨率文档生成大量视觉 token，自注意力机制导致计算成本剧增。

当前的文档多模态模型也发生了不少变化，并且很卷，如上图。

2、两阶段Pipeline

阶段1：布局与阅读顺序预测，联合预测文档布局边界框与阅读顺序，采用大型多模态模型（VLM），输入文档图像与布局提示，输出结构化token序列，包括边界框、阅读顺序索引、区域类别（文本/公式/表格）、旋转角度；

阶段2:区域级内容识别，对检测区域进行分类识别并聚合。

处理包括按旋转角度矫正区域图像、按类别调用专用识别模块按阅读顺序聚合，输出完整文档结构化表示；

3、针对表格的特殊处理

一个是视觉一致性强化学习（解决复杂表格识别），通过“渲染-对比”评估识别质量，优化表格解析准确性；训练奖励模型，用标注数据构建正负样本对（修改GT生成视觉不一致样本），训练VLM判断原始图、预测结果、渲染图的一致性，输出奖励值，采用GRPO（广义强化策略优化）算法，以奖励模型为指导，优化有监督微调（SFT）后的模型；

一个是图像解耦表格解析（IDTP，解决嵌入式图像表格），流程包括：图像检测【用YOLOv10检测表格内嵌入式图像】->占位符替换【将图像替换为尺寸匹配的占位符，保存“占位符ID-图像”映射】；->结构识别VLM生成含<img>标签的HTML表格；->图像还原【后处理阶段按映射替换占位符，输出完整表格】；

一个是类型引导表格合并（TGTM，解决跨页/跨列表格），采用“规则匹配+BERT语义判别”的混合决策做合并【首先通过规则匹配判断相邻表格是否为同一逻辑表格（如列数是否一致、列名语义相似度），若确定为同一表格且首行不同（排除模式1：全表头重复），则调用BERT语义分类器，输入前一表格的尾行文本与后一表格的首行文本，预测两者是否为“行拆分后的延续关系”】，处理3类常见表格拆分模式；

模式1-全表头重复【相邻表格首行（表头）完全一致】，移除重复表头，拼接表格主体；

模式2-无表头延续【首行不同但无单元格拆分】，直接拼接，保留列结构；

模式3-行拆分延续【单元格跨边界拆分】，BERT判断语义延续性，合并拆分单元格后拼接】