05-rag-basic-ingestion RAG 基础：文档加载、切分、向量化与检索增强

LangChain4j 进阶实战：第 5 篇，RAG 基础，从文档加载到检索增强生成

1. RAG 到底解决什么问题

大模型本身有两个天然限制：

1. 它不知道你的私有数据。
2. 它的知识可能过期或不准确。

RAG，也就是 Retrieval-Augmented Generation，检索增强生成，解决的就是这个问题：先从外部知识库检索相关内容，再把检索结果作为上下文交给模型生成答案。

一句话理解：

普通问答 = 用户问题 -> 模型 -> 答案 RAG 问答 = 用户问题 -> 检索相关资料 -> 模型结合资料 -> 答案

2. RAG 的基本流程

一个标准 RAG 流程可以拆成 6 步：

文档加载 -> 文档切分 -> 向量化 -> 写入向量库 -> 查询检索 -> 带上下文生成回答

用 LangChain4j 可以把这条链路拆成下面几段代码：

Documentdocument=loadDocument(Path.of(DOCUMENT_PATH),documentParser);DocumentSplittersplitter=DocumentSplitters.recursive(SEGMENT_SIZE,SEGMENT_OVERLAP);List<TextSegment>segments=splitter.split(document);EmbeddingModelembeddingModel=newBgeSmallEnV15QuantizedEmbeddingModel();List<Embedding>embeddings=embeddingModel.embedAll(segments).content();EmbeddingStore<TextSegment>embeddingStore=newInMemoryEmbeddingStore<>();embeddingStore.addAll(embeddings,segments);ContentRetrievercontentRetriever=EmbeddingStoreContentRetriever.builder