Kotaemon如何支持结构化数据与非结构化数据混合检索？
在构建现代智能问答系统时，一个普遍而棘手的问题是：企业的知识散落在各处——订单记录躺在数据库表里，产品说明藏在PDF文档中，客服经验沉淀于聊天日志。如果系统只能“读文档”或只能“查表格”，那面对“我三个月前买的设备能保修吗？”这类问题，往往顾此失彼。
正是在这种现实需求的推动下，混合检索（Hybrid Retrieval）逐渐成为RAG（Retrieval-Augmented Generation）架构中的核心能力。而Kotaemon作为一款面向生产环境的开源检索增强框架，不仅原生支持这一特性，更将其设计为可插拔、可配置、可追溯的工程化模块。
我们不妨从一个典型场景切入：某用户咨询“我的订单#12345现在什么状态？有没有相关的使用指南？”
这个问题看似简单，却天然包含两类信息诉求：
-结构化事实查询：订单状态需精确匹配数据库字段；
-非结构化语义理解：使用指南需要理解“相关”的含义，进行上下文关联。
传统做法是分两步走：先查库，再搜文档。但这种方式割裂了知识关联，容易遗漏关键线索。Kotaemon的做法则是——让两种检索并行发生，并在一个统一框架下融合结果。
它的实现逻辑并不复杂，但却非常精巧：查询进来 → 自动判断是否涉及结构化条件 → 同时触发票据数据库和文档向量库 → 将不同评分机制的结果归一化排序 → 输出综合证据链。
这个流程背后，是一套高度解耦的设计哲学。每个环节都以接口抽象，开发者可以自由替换组件而不影响整体流程。比如你可以用PostgreSQL做结构化源，也可以接入REST API返回JSON数据；向量库可以用Pinecone，也能切换成本地FAISS索引。
更重要的是，它解决了企业最关心的问题：答案从哪来？是否有据可依？
在Kotaemon中，每一条被引用的内容都会携带明确的来源标签——是来自orders表的某条记录，还是《用户手册V2.1》第5页。这种可解释性，在金融、医疗等高合规要求领域尤为重要。
那么它是怎么做到的？
其核心机制围绕三个阶段展开：
首先是查询路由决策。系统不会盲目地同时发起所有类型的检索，那样既浪费资源又可能引入噪声。相反，它会通过轻量级意图识别模型或规则引擎，判断当前问题是否包含时间范围、ID编号、状态码等结构化关键词。
例如，“查找2024年Q3销售额超过10万的客户”显然带有强结构化特征，应触发SQL生成路径；而“介绍一下我们的新产品线”则更适合走纯语义检索路线。
为了提升准确性，Kotaemon内置了双模路由策略：初期可用关键词规则快速上线（如匹配“订单号”、“工单ID”等），后续可通过标注数据训练小型分类器，逐步过渡到机器学习驱动的智能路由。
一旦确定启用结构化通道，下一步就是NL2SQL转换。这里不是简单的模板填充，而是结合上下文语义将自然语言映射为参数化查询语句。例如：
SELECT status, created_at FROM support_tickets WHERE user_id = ? AND product_name LIKE '%AirPods Pro%' AND created_at >= NOW() - INTERVAL '30 days';该过程由SQLRetriever完成，底层支持JDBC/ODBC连接多种关系型数据库，并集成基础防护机制（如参数化查询、白名单校验），防止恶意输入导致安全风险。
与此同时，非结构化通道也在并行运行。用户的原始提问会被送入预训练编码器（如BGE、Sentence-BERT），转化为高维向量，在FAISS、Weaviate或Pinecone等向量数据库中执行近似最近邻搜索（ANN）。这些向量索引通常基于PDF、网页、Markdown等文档切片构建，捕捉的是语义层面的相关性。
到这里，我们得到了两组异构结果：
- 结构化侧：若干条数据库记录，附带置信度（如完全匹配主键则为1.0）；
- 非结构化侧：多个文本片段，带有余弦相似度分数（如0.82、0.76）。
两者评分尺度不同、单位不同、意义也不同，如何公平比较？
这就进入了第三步——结果融合与重排序。
Kotaemon采用加权归一化策略，对两类得分进行标准化处理后再加权合并。例如设定结构化权重为0.6，非结构化为0.4，公式如下：
$$
\text{final_score} = w_s \cdot \frac{\text{structured_score}}{\max(\text{structured_scores})} + w_u \cdot \frac{\text{unstructured_score}}{\max(\text{unstructured_scores})}
$$
此外，还可以引入额外因子，如字段可信度（订单状态 > 用户备注）、内容新鲜度（最近更新的文档优先）、用户偏好（某些业务线更依赖文档而非系统记录）等，进一步优化排序质量。
最终输出的是一个统一排序的候选集，每项都带有完整元数据：
[ { "content": "订单#12345当前状态：已发货", "source_type": "structured_db", "source_id": "tickets.status", "score": 0.95 }, { "content": "退换货政策规定：签收后7日内可无理由退货……", "source_type": "unstructured_doc", "source_id": "manual_refunds_v3.pdf#page=12", "score": 0.87 } ]这些结果随后被送入大语言模型，用于生成自然语言回复，并自动标注引用来源，形成闭环。
整个流程之所以能高效运转，离不开其模块化架构设计。以下是典型的混合检索流水线代码示例：
from kotaemon.retrievers import VectorDBRetriever, SQLRetriever from kotaemon.routers import HybridRouter from kotaemon.fusers import WeightedFusion class HybridRetrievalPipeline: def __init__(self): self.vector_retriever = VectorDBRetriever( vector_store="pinecone://my-index", embedding_model="BAAI/bge-small-en-v1.5" ) self.sql_retriever = SQLRetriever( db_url="postgresql://user:pass@localhost:5432/support_db", table_schema="tickets" ) self.router = HybridRouter(nl2sql_enabled=True) self.fuser = WeightedFusion(structured_weight=0.6, unstructured_weight=0.4) def retrieve(self, query: str): use_structured = self.router.route(query) unstructured_results = self.vector_retriever.retrieve(query) structured_results = self.sql_retriever.retrieve(query) if use_structured else [] fused_results = self.fuser.combine(structured_results, unstructured_results) return fused_results[:10]这段代码看似简洁，实则蕴含深意。Retriever基类定义了统一接口，任何新数据源（如Elasticsearch全文检索、GraphQL接口）都可以通过继承扩展，无需改动主流程。这正是Kotaemon“低耦合、高内聚”设计理念的体现。
在实际部署中，有几个关键考量点值得特别注意：
- 向量一致性：必须确保线上查询所用的嵌入模型与索引构建时一致。曾有团队在线上更换了embedding模型却未重建索引，导致召回率骤降30%以上。
- 延迟控制：结构化查询通常毫秒级响应，而向量搜索可能较慢。建议设置超时阈值（如300ms），避免慢速通道拖累整体性能。必要时可启用缓存机制，对高频查询做结果预热。
- 冷启动问题：初期缺乏足够标注数据训练智能路由模型时，推荐采用“规则为主 + 人工反馈 + 迭代优化”的渐进式策略。先保证基本可用性，再逐步提升自动化水平。
- 安全性加固：NL2SQL模块虽强大，但也存在注入风险。务必启用参数校验、语法树解析和白名单过滤，杜绝任意SQL执行的可能性。
回过头看，Kotaemon的价值远不止于技术实现本身。它提供了一种工程化思维来应对复杂业务场景下的知识整合挑战。
想象这样一个画面：客服机器人不仅能告诉你“你的订单已发货”，还能顺手附上包装清单截图和物流跟踪链接；医生助手在查阅病历时，既能调取患者历次检验数值，又能推送最新诊疗指南摘要——这才是真正意义上的“智能”。
而这背后，正是结构化与非结构化数据的无缝协同。
Kotaemon没有试图用大模型去“猜”一切，而是坚持“让数据说话”。它不追求炫技式的端到端生成，而是强调可验证、可审计、可维护的系统设计原则。这种务实取向，恰恰是许多企业在落地AI项目时最需要的定力。
未来，随着多模态数据（图像、音频、日志流）的不断涌入，混合检索的能力边界还将持续扩展。而Kotaemon所奠定的模块化、可组合架构，为其演进提供了坚实基础。
某种意义上，它不只是一个工具，更是一种提醒：在通往通用人工智能的路上，我们仍需尊重事实，善待数据，把每一次回答，都建立在坚实的证据之上。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
