如何用Langchain-Chatchat构建私有文档AI问答助手

如何用 Langchain-Chatchat 构建私有文档 AI 问答助手

在企业知识管理的日常中，一个老生常谈的问题是：新员工入职三天了还在问“年假怎么休”，HR 回复到手软；法务同事翻遍合同模板却找不到某条关键条款；技术支持面对客户提问，不得不反复查阅几十页的产品手册。信息就在那里，但找起来费时费力——不是没有数据，而是知识“沉睡”着。

通用大模型虽然能聊天、写诗、编代码，可一旦涉及公司内部制度、产品细节或客户资料，它们要么答非所问，要么因数据隐私限制根本无法接入。而把敏感文档上传到云端AI服务？对金融、医疗、政务等行业来说，这几乎是个禁忌。

有没有一种方式，既能享受大模型的语言理解能力，又能确保所有数据留在内网、回答严格基于自有资料？答案正是近年来兴起的本地化 RAG（检索增强生成）系统。其中，Langchain-Chatchat凭借其开源、易部署、中文友好和模块化设计，成为构建私有知识库问答助手的热门选择。

这套系统的本质并不复杂：你传入一堆 PDF、Word 或 TXT 文件，它自动“读完”并记住内容；当你提问时，它先从这些文件中找出最相关的段落，再结合上下文生成自然流畅的回答——整个过程不依赖任何外部API，全部运行在你的服务器甚至高性能PC上。

它的核心技术链条由三部分组成：LangChain 框架做流程编排，向量数据库实现语义检索，本地大语言模型负责最终作答。这三者协同，形成了一套“感知—检索—推理—表达”的闭环智能系统。

举个例子，你在系统里上传了一份《员工手册》PDF。当用户输入“试用期多久？”时，系统并不会凭空猜测，而是：

1. 将问题转化为向量，在已索引的文本块中搜索语义最接近的内容；
2. 找到原文中的相关句子：“新员工试用期为三个月”；
3. 把这句话作为依据，交给本地部署的 ChatGLM 或 Llama3 模型组织成回答：“根据《员工手册》，新员工试用期为三个月。”

整个过程就像一位熟悉公司制度的新助理，既不会胡编乱造，也不会遗漏细节。

要实现这样的效果，第一步是从文档中提取可用文本。Langchain-Chatchat 支持多种格式：PDF、DOCX、Markdown、HTML 等，背后依赖的是PyPDF2、docx2txt、Unstructured等解析工具。对于扫描版 PDF，则需要额外集成 OCR 引擎如 PaddleOCR 或 Tesseract。

但原始文本太长怎么办？直接喂给模型会超出上下文窗口。因此第二步是文本分块。常见的做法是使用RecursiveCharacterTextSplitter，按字符长度切分（比如每500个字符一块），同时保留一定的重叠部分（如50字符），避免一句话被硬生生截断。

这里有个实际经验：中文场景下，chunk_size 设置在 300～600 字符较为合适。太小容易丢失上下文，太大则可能混入无关信息，影响检索精度。你可以把它想象成读书时做的摘录卡片——每张卡承载一个完整语义单元，不宜过短也不宜过长。

接下来是关键一步：向量化与索引构建。每个文本块都会通过嵌入模型（Embedding Model）转换为高维向量。这个过程相当于给每段文字打上“语义指纹”。常用的中文嵌入模型是智谱AI发布的BAAI/bge-small-zh-v1.5，它在中文语义匹配任务上表现优异，且资源消耗低，适合本地部署。

这些向量随后存入本地向量数据库，如 FAISS（Facebook AI Similarity Search）或 Chroma。FAISS 尤其适合小规模知识库，能在毫秒级完成数千条向量的相似度检索。你可以把 FAISS 看作一个高效的“记忆检索器”——当你提出问题时，它迅速比对语义指纹，返回 Top-K 最相关的文档片段。

from langchain.vectorstores import FAISS from langchain.embeddings import HuggingFaceEmbeddings embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") vectorstore = FAISS.from_documents(texts, embeddings)

至此，知识库已准备就绪。当用户提问时，系统会用同样的嵌入模型将问题向量化，然后在向量空间中寻找最近邻。这种基于语义的检索，远胜于传统关键词匹配。例如，问“离职流程”也能命中标题为“员工退出机制说明”的文档，因为它理解两者语义相近。

最后一步是答案生成。检索到的相关文本块会被拼接到 Prompt 中，连同问题一起送入本地大语言模型。典型的 Prompt 结构如下：

【系统指令】 你是一个企业知识助手，请根据以下已知信息回答问题。如果无法从中得到答案，请说“我不知道”。 【已知信息】 {retrieved_text_chunk_1} {retrieved_text_chunk_2} 【问题】 {user_question}

这种结构化提示词（Prompt Engineering）的设计至关重要。它明确限定了回答范围，要求模型“忠于原文”，从而有效抑制幻觉。这也是 RAG 相较于纯生成模型的最大优势：回答有据可查，可信度高。

目前主流的本地 LLM 包括：

• ChatGLM3-6B：中文优化好，INT4 量化后可在 6GB 显存的消费级显卡（如 RTX 3060）运行；
• Llama3-8B-Instruct：英文能力强，中文需配合微调版本使用；
• Qwen-7B-Chat：通义千问系列，支持长上下文和多轮对话。

这些模型可通过transformers、vLLM或llama.cpp加载。特别是 GGUF 格式的模型（由 TheBloke 转换发布），配合 llama.cpp 可实现 CPU/GPU 混合推理，极大降低硬件门槛。

from langchain.llms import HuggingFacePipeline from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline model_id = "THUDM/chatglm3-6b" tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True) pipe = pipeline( "text-generation", model=model, tokenizer=tokenizer, max_new_tokens=512, temperature=0.7, device=0 # GPU ) llm = HuggingFacePipeline(pipeline=pipe)

整个流程通过 LangChain 的RetrievalQA链条封装，几行代码即可串联起从文档加载到答案生成的全过程：

from langchain.chains import RetrievalQA qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=vectorstore.as_retriever(search_kwargs={"k": 3}), return_source_documents=True )

chain_type="stuff"表示将所有检索结果拼接后一次性传给模型；k=3控制返回前三条最相关的结果；return_source_documents=True则允许前端展示答案出处，增强透明度和信任感。

这套系统不仅技术可行，更具备真实的业务价值。在一家中型制造企业的落地案例中，他们将上百份产品说明书、维修指南和安全规范导入 Langchain-Chatchat，部署在一台配备 RTX 4090 的边缘服务器上。客服人员通过 Web 界面查询技术参数的时间从平均 8 分钟缩短至 20 秒，首次响应准确率提升至 92%。更重要的是，所有操作均在内网完成，无需担心客户数据外泄。

类似的场景还出现在律师事务所——律师可以快速检索过往判例摘要；医院管理部门用它解答医保政策疑问；培训机构将课程大纲和常见问题录入系统，供学员自助查询。

当然，部署过程中也有一些值得留意的细节：

• 嵌入模型的选择直接影响检索质量。英文优先考虑all-MiniLM-L6-v2，中文强烈推荐 BGE 系列。避免使用远程 API（如 OpenAI 的 text-embedding-ada-002），否则仍存在数据出境风险。
• 模型量化是平衡性能与资源的关键。INT4 量化可使显存占用减少约 60%，虽略有性能损失，但交互体验依然流畅。对于无独立显卡的环境，可尝试 llama.cpp + GGUF 模式，利用 CPU 推理。
• 安全防护不可忽视。应限制上传文件类型（禁止 .exe、.sh 等可执行格式），设置大小上限（如 50MB），并对输出内容进行敏感词过滤，防止不当言论传播。
• 性能优化可以从缓存入手。对高频问题（如“如何请假”）可建立结果缓存，避免重复计算；使用 SSD 存储向量索引，加快启动和检索速度。

Langchain-Chatchat 的魅力在于它的“恰到好处”：不过度复杂，也不牺牲实用性。它不像训练一个专属模型那样需要大量标注数据和算力投入，也不像简单搜索引擎那样只能做关键词匹配。它提供了一条折中的技术路径——让企业用自己的数据，驾驭开源的大模型能力，构建真正属于自己的数字员工。

随着本地模型性能持续提升（Llama3、Qwen2、DeepSeek 等新架构不断涌现），硬件成本逐年下降，这类私有化 AI 助手正从“技术尝鲜”走向“规模化落地”。未来，每一个组织都可能拥有一个永不疲倦、记得所有规则、且绝不泄密的知识管家。

而这扇门，其实已经打开了。