做过智能问数落地的朋友都知道:Demo 跑通容易,上生产难。要么准确率低、答非所问,要么并发一高就卡顿崩溃,权限和安全难以保障,导致无法规模化推广。
本文分享一套基于Agent + RAG技术栈的5 层生产级架构,注重分层解耦、安全兜底和可复用性。文中包含完整架构设计、核心优化方案及生产级配置规范,中小团队可据此快速搭建生产级智能问数系统。
一、这套架构要解决的生产级核心问题
智能问数从 Demo 到生产,绝大多数项目卡在以下 4 个问题上。本架构在设计层面逐一对应解决:
准确性问题:自然语言转 SQL 容易产生幻觉、字段误解 → 通过RAG 三层检索(Schema + Few-shot + 反馈修正)约束模型行为
并发稳定性问题:高峰期大查询拖垮集群、大模型超时雪崩 → 通过多级缓存 + 资源隔离 + 限流降级保障核心查询通路
权限安全问题:SQL 注入、子查询绕过行级权限 → 通过独立安全层 + 强制权限注入堵死绕过路径
规模化扩展问题:新增一个业务场景要改半套代码 → 通过Skill 模板 + 分层解耦实现热插拔
二、5 层生产级架构设计
核心设计思路:分层解耦、各层独立扩容,将 Agent 调度和 RAG 检索能力下沉至核心能力层,上层可灵活扩展业务场景。
第一层:用户交互层
提供用户访问入口,支持多端接入(Web、移动、第三方系统通过 API)。负责接收用户自然语言问题、展示查询结果、收集反馈。该层不包含业务逻辑,仅做协议适配和请求转发。
第二层:业务功能层
管理对话上下文、维护元数据(数据集、表结构、字段注释)、管理知识库文档。Skill 模板在该层定义并存储,供 Agent 调度使用。该层实现业务逻辑的可配置化,降低对代码的依赖。
第三层:核心能力层
系统的大脑。Agent 负责理解用户意图、编排调用流程;RAG 负责从向量库中检索相关 Schema、示例和修正记录;Text2SQL 模块生成并修正 SQL。该层封装了 AI 相关的核心算法,上层不感知模型细节。
第四层:安全控制层
所有请求必须经过该层。负责用户身份验证、操作授权、行级/列级权限强制注入;检测并拦截恶意 SQL 和 Prompt 注入;对敏感数据进行脱敏或水印;记录全链路审计日志,触发异常告警。该层独立于业务逻辑,确保安全策略统一且不可绕过。
第五层:基础设施层
提供底层资源,包括大模型调用(文本生成、向量化)、向量存储与检索、业务数据存储。该层可替换具体实现(如更换 LLM 厂商、向量库或关系库),不影响上层功能。
架构优势:
Agent + RAG 能力下沉:新增业务场景只需添加 Skill 模板,开发效率提升 50%
各层独立扩容:某制造企业 5 分钟将并发从 200 扩至 500,不影响业务
安全兜底:独立安全层拦截所有请求,符合企业安全要求
三、核心流程拆解:用户提一个问题,系统都做了什么?
以「查询本月各部门销售额」为例,系统自动执行以下9步:
用户提问:前端输入自然语言问题。
意图识别,匹配Skill:Agent层识别为“智能问数”场景,匹配对应Skill模板。
权限预校验:检查用户是否有数据集权限及数据范围(如只能看本部门)。无权限则直接拒绝。
RAG检索:并行检索表结构注释、历史相似SQL、用户反馈修正,作为上下文。
生成SQL:Agent层拼接Prompt,调用大模型生成原始SQL。
SQL校验与权限注入:安全层拦截危险操作,强制注入行级权限条件。
执行与脱敏:执行SQL,返回结果前对敏感字段自动脱敏。
生成分析与图表建议:Agent层调用大模型,生成自然语言分析和图表推荐。
审计与告警:记录全链路日志,异常行为实时告警。
最终返回数据表格、分析文字和图表建议。全程用户无感知,数秒内获得答案。
四、扛住企业高峰期查询压力的优化方案
- 多级缓存策略
热门查询缓存:Redis 缓存高频查询结果(如日报/周报),设置合理过期时间,命中后响应速度大幅提升
Schema/权限缓存:表结构、用户权限缓存,权限检查开销极小
向量检索缓存:高频问题的 RAG 结果缓存,降低 Milvus 查询压力
- 全链路性能优化
数据库索引:业务表联合索引,审计日志按天分表,历史查询快速返回
Milvus 调优:采用 IVF_FLAT 索引,合理设置 nlist、Top-K 及相似度阈值,检索稳定高效
异步 + 限流降级:慢查询异步执行;设置用户级和 IP 级限流,避免服务过载;支持大模型超时自动降级备用模型,调用成功率高
- 资源隔离
大查询隔离:数据量大的查询放入慢队列,不占用正常查询资源
租户隔离:不同企业租户资源隔离,单租户突增不影响其他
核心接口优先:用户查询接口优先级最高,后台管理接口次之
五、核心模块实现细节
- Skill 模板(Agent 调度原子能力)
将业务场景的规则、Prompt、输出格式固化为 Skill 模板,内置 12 个现成模板(智能问数、报表生成、数据预警等),支持可视化配置,每个 Skill 独立权限控制。
- Agent 调度(全流程自动化)
意图识别:匹配对应 Skill
权限校验:检查数据集权限及数据范围
流程调度:RAG 检索 → SQL 生成 → 安全校验 → 注入权限 → 执行 → 脱敏 → 返回
异常处理:SQL 错误自动重试 2 次,失败后转人工
- RAG 增强(准确率提升)
三层检索架构:
Schema 检索:表结构、字段注释、枚举值
Few-shot 示例检索:历史相似问题的正确 SQL
反馈修正检索:用户修正过的错误 SQL
实测准确率从 60% 提升至 92%,每月随数据积累再提升约 1%。
- 安全控制层(符合等保 2.0)
权限控制:RBAC + 行级/列级权限,强制注入 SQL
SQL 安全:注入拦截 + 危险操作拦截,数据库账号仅 SELECT 权限
数据安全:敏感字段自动脱敏,隐形水印,最大返回 1000 行
AI 安全:Prompt 注入拦截 + 敏感词检测,禁止模型编造信息
审计安全:全链路日志 90 天,异常自动告警
六、5 个常见致命坑及解决方案
- 未做分层设计
后果:新增场景需改半套代码,上线周期长且易搞挂现有功能
解决方案:5 层解耦架构,新增场景只需加 Skill 模板,快速上线
- 权限校验在业务层
后果:被子查询绕过,泄露敏感数据
解决方案:独立安全层,权限条件强制注入 SQL 最外层
- RAG 全量召回
后果:大模型被垃圾信息干扰,准确率低下
解决方案:三层检索,只召回强相关内容,准确率大幅提升
- 大模型超时直接报错
后果:查询失败率偏高
解决方案:自动重试机制 + 异常转人工,提升成功率
- 审计日志未分表
后果:历史查询极慢
解决方案:按天分表 + 索引优化,历史查询快速返回
最后说几句
现在很多人聊智能问数,还停留在「搭个界面、接个大模型、能生成SQL就完事了」的阶段。
但真正能上生产、扛并发、过信创的智能问数,远不止这些。
这套 Agent + RAG 的 5 层架构,我们花了半年时间在生产环境里反复打磨,5 家不同行业的企业已经跑通。
从创业团队到中大型企业,从 MySQL 到达梦,从 10 个人用到 1000 人并发——不是实验室里的 Demo,是真实跑在业务线上的生产力工具。
我不打算在这篇文章里堆满建表 SQL 和配置文件,那些网上搜得到的东西没太大价值。
真正值钱的,是为什么这么设计、踩过哪些坑、怎么把准确率从 60% 拉到 85% 以上。
学AI大模型的正确顺序,千万不要搞错了
🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!
有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!
就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~