真香警告！小白也能搭建的本地AI助手，2小时让你的文档“开口说话“！

在信息爆炸的时代，拥有一个能“读懂”个人文档、精准回答问题的专属AI助手，能大幅提升学习与工作效率。而基于个人笔记本电脑搭建本地RAG（检索增强生成）系统，不仅能保护数据隐私，还无需依赖云端服务，普通用户花2小时即可完成基础部署。本教程以“低门槛、高实用”为原则，覆盖从环境准备到效果测试的全流程，适配Windows、macOS、Linux系统，即使是零基础也能跟着操作。

一、先搞懂：本地RAG能帮你做什么？

本地RAG本质是“专属知识库+AI问答助手”的结合体——你可以将考研笔记、技术手册、工作文档等导入系统，之后像聊天一样提问，比如“Python的for循环怎么写？”“番茄炒蛋先放蛋还是番茄？”，系统会先检索你的文档，再基于文档内容生成准确回答，避免AI“瞎编”。其核心优势在于：

• 隐私可控：所有文档和数据都存储在自己的笔记本上，不经过第三方服务器；
• 门槛极低：无需高端硬件，8GB内存、无独立显卡的笔记本也能运行；
• 用途灵活：可做学习助手（解析教材）、工作工具（查询项目文档）、生活管家（管理食谱/行程）。

二、准备阶段：3样东西提前备好

搭建前先确认设备与工具，避免后续卡壳，新手无需追求复杂配置，满足基础要求即可。

1. 硬件要求（笔记本最低配置）

注意：无独立显卡也能搭建，只是回答生成速度会慢一些（10-20秒/次），适合测试使用。

2. 必备软件与工具

• Python 3.10：必须是3.10版本（别装3.11/3.12，避免依赖冲突），官网下载：python.org/downloads；
• Git：用于拉取开源资源，官网下载：git-scm.com/downloads（默认安装即可）；
• 文档素材：1-3份测试用文档（优先选PDF/TXT/Markdown格式，别用扫描件！），比如《Python基础教程.pdf》《考研英语阅读技巧.txt》，建议将文件名改成简单英文名（如“python_basic.pdf”，避免中文符号导致报错）。

3. 工作文件夹创建

为避免文件混乱，先在桌面建一个专属文件夹：

1. 桌面右键→“新建”→“文件夹”，命名为“Local_RAG”（名字可改，建议英文）；
2. 将准备好的文档（如“python_basic.pdf”）拖进这个文件夹；
3. 后续所有操作都在这个文件夹内进行，方便管理。

三、 Step 1：安装Python（最易出错的一步，盯紧！）

Python是运行RAG的基础，装错版本或漏勾选项会导致后续步骤失败，按以下步骤操作：

1. 下载Python 3.10

• • 打开Python官网，拉到“Downloads”板块，选择对应系统版本：

• • Windows用户：点击“Windows Installer (64-bit)”（别选32-bit）；
• • Mac用户：点击“macOS 64-bit universal2 installer”；

• • 下载完成后，文件会在“下载”文件夹中（如“python-3.10.11-amd64.exe”）。

2. 安装Python（关键：勾选“Add Python to PATH”）

• • 双击安装包，打开后务必勾选界面底部的“Add Python 3.10 to PATH”（新手90%的错误都源于漏勾这一步）；
• • 勾选后点击“Install Now”（默认安装路径即可，不用手动修改）；
• • 等待1-2分钟，进度条走完后点击“Close”（无需点“Disable path length limit”）。

3. 验证是否安装成功

• • Windows用户：按「Win+R」，输入“cmd”打开命令提示符；
• • Mac/Linux用户：按「Command+空格」（Mac）或「Ctrl+Alt+T」（Linux），打开终端；
• • 在命令行中输入：python --version（注意中间有空格），按回车；

• • ✅ 成功：显示“Python 3.10.x”（x为具体版本号，接近即可）；
• • ❌ 失败：显示“不是内部或外部命令”——重新安装，确保勾选“Add Python to PATH”。

四、 Step 2：搭建RAG运行环境（复制命令就行，不用懂原理）

这一步是给RAG创建“独立工作空间”，避免和电脑里的其他软件冲突，全程通过命令行操作，新手只需复制粘贴指令。

1. 进入工作文件夹

• • 在命令提示符/终端中，输入对应系统的命令，按回车（将“Local_RAG”换成你实际的文件夹名）：

• • Windows：cd Desktop\Local_RAG
• • Mac/Linux：cd ~/Desktop/Local_RAG

• • ✅ 成功：命令行前缀会显示“C:\Users\你的名字\Desktop\Local_RAG>”（Windows）或“你的名字@MacBook Local_RAG %”（Mac）；
• • ❌ 失败：显示“系统找不到指定的路径”——检查桌面是否有“Local_RAG”文件夹，或文件夹名是否输错。

2. 创建并激活隔离环境

• • 输入命令创建环境（命名为“rag-env”，无需修改）：python -m venv rag-env；
• • 等待10秒，此时“Local_RAG”文件夹中会多出“rag-env”子文件夹，代表环境创建成功；
• • 激活环境（必须激活，否则无法安装工具）：

• • Windows：rag-env\Scripts\activate
• • Mac/Linux：source rag-env/bin/activate

• • ✅ 成功：命令行前缀会多出“(rag-env)”，比如“(rag-env) C:\Users\XXX\Desktop\Local_RAG>”；
• • ❌ Windows激活失败：若显示“无法加载脚本”，右键点击“开始菜单”→“Windows PowerShell (管理员)”，输入Set-ExecutionPolicy RemoteSigned，按Y确认，再重新激活。

3. 安装必备工具包

复制以下命令（带清华源，下载更快，避免超时），粘贴到命令行中按回车，等待2-5分钟（期间别关闭窗口）：

pip install langchain==0.2.10 chromadb==0.4.24 sentence-transformers==2.7.0 ollama==0.1.82 pypdf2==3.0.1 flask==2.3.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

• • ✅ 成功：最后显示“Successfully installed …”（绿色字体），无红色“Error”；
• • ❌ 失败：若显示“超时”，切换手机热点后重新粘贴命令；若提示“权限不足”，在命令前加“sudo”（Mac/Linux）或右键以管理员身份打开命令提示符（Windows）。

五、 Step 3：部署核心组件（向量数据库+本地大模型）

RAG的核心是“向量数据库（存文档）”和“本地大模型（生成回答）”，我们选择轻量级工具，新手无需复杂配置。

1. 部署向量数据库（Chroma：本地轻量型）

向量数据库用于存储文档的“语义向量”，方便快速检索。操作步骤：

1. 1. 在命令行中，输入以下代码并回车（初始化数据库）：```plaintext
      python -c “import chromadb; chromadb.PersistentClient(path=‘./chroma_db’)”

2. 2. 执行后，“Local_RAG”文件夹中会生成“chroma_db”文件夹，代表数据库创建成功（无需手动打开）。

2. 部署本地大模型（Llama 3 8B：免费且通用）

我们用Ollama工具快速部署大模型，它会自动下载模型，无需手动配置：

1. 1. 安装Ollama：打开官网ollama.com/download，下载对应系统的安装包，默认安装即可（安装后会自动启动服务）；
2. 2. 在命令行中输入以下命令，下载Llama 3 8B模型（约4GB，需等待几分钟）：```plaintext
      ollama pull llama3:8b

3. 3. 测试模型是否能运行：输入ollama run llama3:8b，等待模型加载完成后，输入“你好”，若模型回复问候语，代表部署成功；
4. 4. 按「Ctrl+C」两次退出模型交互，回到“(rag-env)”环境。

3. 部署Embedding模型（腾讯Youtu-Embedding：中文友好）

Embedding模型用于将文本转换成向量，我们选择对中文支持较好的腾讯开源模型：

1. 1. 在“Local_RAG”文件夹中，新建一个文本文件，命名为“download_embedding.py”；
2. 2. 打开文件，复制以下代码并保存：```plaintext
      from transformers import AutoModel, AutoTokenizer# 下载中文Embedding模型model = AutoModel.from_pretrained(“tencent-ailab/youtu-embedding”)tokenizer = AutoTokenizer.from_pretrained(“tencent-ailab/youtu-embedding”)print(“Embedding模型下载成功！”)

3. 3. 在命令行中输入python download_embedding.py，按回车（模型约2GB，耐心等待）；
4. 4. 若显示“Embedding模型下载成功！”，代表完成（无需手动操作模型文件）。

六、 Step 4：导入文档，构建个人知识库

将准备好的文档（如PDF）拆分成片段、转换成向量，存入数据库，这是RAG能“读懂”你文档的关键步骤。

1. 编写文档处理脚本

1. 1. 在“Local_RAG”文件夹中，新建文本文件，命名为“process_docs.py”；
2. 2. 复制以下代码（已注释关键步骤，新手无需修改），粘贴并保存：```plaintext
      import chromadbfrom transformers import AutoModel, AutoTokenizerfrom PyPDF2 import PdfReaderimport os# 1. 初始化Chroma数据库client = chromadb.PersistentClient(path=“./chroma_db”)# 创建/获取知识库集合（命名为"my_knowledge_base"）collection = client.get_or_create_collection(name=“my_knowledge_base”)# 2. 加载Embedding模型tokenizer = AutoTokenizer.from_pretrained(“tencent-ailab/youtu-embedding”)model = AutoModel.from_pretrained(“tencent-ailab/youtu-embedding”)# 3. 处理PDF文档：提取文本→按语义拆分片段（1000字符/段，避免割裂）def process_pdf(file_path): reader = PdfReader(file_path) full_text = “” # 提取PDF所有页面的文本 for page in reader.pages: page_text = page.extract_text() or “” full_text += page_text + “\n” # 按1000字符拆分，保留100字符重叠（确保语义连贯） chunks = [] chunk_size = 1000 overlap = 100 for i in range(0, len(full_text), chunk_size - overlap): chunk = full_text[i:i + chunk_size] chunks.append(chunk) return chunks# 4. 遍历文件夹中的PDF，批量导入数据库docs_dir = “./” # 当前文件夹（即Local_RAG）for filename in os.listdir(docs_dir): # 只处理PDF文件 if filename.endswith(“.pdf”): file_path = os.path.join(docs_dir, filename) print(f"正在处理文档：{filename}“) chunks = process_pdf(file_path) # 为每个片段生成向量并入库 for i, chunk in enumerate(chunks): # 生成向量 inputs = tokenizer(chunk, return_tensors=“pt”, padding=True, truncation=True) embedding = model(** inputs).last_hidden_state.mean(dim=1).detach().numpy() # 用“文件名+片段序号”作为唯一ID，方便追溯来源 doc_id = f”{filename}chunk{i}" # 入库（包含文本、来源、向量） collection.add( documents=[chunk], metadatas=[{“source”: filename}], embeddings=embedding, ids=[doc_id] )print(“所有文档导入完成！”)

2. 执行脚本，导入文档

• • 在命令行中输入python process_docs.py，按回车；
• • 脚本会自动处理“Local_RAG”文件夹中的所有PDF，显示“所有文档导入完成！”即成功；
• • 若提示“找不到PDF文件”，检查文档是否在“Local_RAG”文件夹中，或文件名是否以“.pdf”结尾。

七、 Step 5：测试RAG问答功能（终于能和你的知识库聊天了！）

编写一个简单的问答脚本，测试“提问→检索→回答”的全流程，看看RAG是否能准确理解你的文档。

1. 编写问答脚本

1. 1. 在“Local_RAG”文件夹中，新建文本文件，命名为“rag_qa.py”；
2. 2. 复制以下代码，粘贴并保存：```plaintext
      import chromadbfrom transformers import AutoModel, AutoTokenizerimport subprocessimport json# 1. 初始化数据库和Embedding模型client = chromadb.PersistentClient(path=“./chroma_db”)collection = client.get_collection(name=“my_knowledge_base”)tokenizer = AutoTokenizer.from_pretrained(“tencent-ailab/youtu-embedding”)model = AutoModel.from_pretrained(“tencent-ailab/youtu-embedding”)# 2. 检索：根据问题找到最相关的3个文档片段def retrieve_relevant_chunks(question, top_k=3): # 问题转向量 inputs = tokenizer(question, return_tensors=“pt”, padding=True, truncation=True) question_embedding = model(** inputs).last_hidden_state.mean(dim=1).detach().numpy() # 检索相似片段 results = collection.query( query_embeddings=question_embedding, n_results=top_k ) # 整理结果（文本+来源） chunks = results[“documents”][0] sources = [meta[“source”] for meta in results[“metadatas”][0]] return chunks, sources# 3. 生成回答：调用本地Llama 3模型def generate_answer(question, chunks, sources): # 构建提示词（告诉模型基于文档回答，不编造） prompt = f"““基于以下参考文档回答问题，只使用文档中的信息，不要添加额外内容；如果文档中没有相关答案，直接说“未找到相关内容”。 参考文档： 1. {chunks[0]}（来源：{sources[0]}） 2. {chunks[1]}（来源：{sources[1]}） 3. {chunks[2]}（来源：{sources[2]}） 问题：{question} 回答：””" # 调用Ollama的Llama 3模型 process = subprocess.Popen( [“ollama”, “run”, “llama3:8b”, “–format”, “json”], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True ) # 发送提示词并获取结果 stdout, stderr = process.communicate(input=prompt) # 解析JSON结果 try: result = json.loads(stdout.strip()) return result[“message”][“content”], sources except: return “回答生成失败，请重试！”, sources# 4. 主函数：问答入口ifname== “main”: print(“本地RAG知识库已启动，输入问题即可查询（输入’quit’退出）：”) while True: question = input(“你：”) if question.lower() == “quit”: print(“再见！”) break # 检索相关片段 chunks, sources = retrieve_relevant_chunks(question) # 生成回答 answer, sources = generate_answer(question, chunks, sources) # 显示结果 print(f"RAG助手：{answer}“) print(f"答案来源：{', '.join(set(sources))}”) # 去重显示来源

2. 运行脚本，开始问答

• • 在命令行中输入python rag_qa.py，按回车；
• • 等待模型加载完成后，输入你的问题（比如导入了Python文档就问“Python中for循环怎么写？”）；
• • 系统会先检索文档片段，再生成回答，并显示答案来源（如“python_basic.pdf”），示例如下：```plaintext
  本地RAG知识库已启动，输入问题即可查询（输入’quit’退出）：你：Python中for循环怎么写？RAG助手：在Python中，for循环可用于遍历序列（如列表、字符串），基本语法为：for 变量 in 序列: 循环体（缩进）示例：遍历列表[1,2,3]并打印元素：nums = [1,2,3]for num in nums: print(num)（来源：python_basic.pdf）

3. 测试常见场景，验证效果

• •基础问题：输入文档中明确有的内容（如“番茄炒蛋需要哪些食材？”），检查回答是否准确；
• •模糊问题：输入表述不精准的问题（如“怎么用Python遍历数据？”），测试检索是否能匹配到“for循环”相关片段；
• •无相关内容：输入文档中没有的问题（如“Java的类怎么定义？”），检查模型是否会说“未找到相关内容”（避免幻觉）。

八、 避坑指南与优化技巧（新手必看）

很多人搭建后会遇到“检索不到内容”“回答慢”的问题，做好以下几点能大幅提升体验：

1. 常见坑点及解决方法

• •坑1：文档导入失败→ 检查文档是否为文本型PDF（扫描件无法提取文本），文件名是否含中文符号（如“Python 教程.pdf”改成“python_tutorial.pdf”）；
• •坑2：回答生成慢→ 若用CPU推理，关闭其他软件（如浏览器、视频软件）；若有独立显卡，可换成GPU版Embedding模型（将“tencent-ailab/youtu-embedding”换成“bge-large-en-v1.5”，需额外安装CUDA）；
• •坑3：检索不到相关内容→ 调整文档拆分长度（将脚本中“chunk_size=1000”改成“500”，适合短句多的文档），或增加检索数量（将“top_k=3”改成“5”）；
• •坑4：Python库安装失败→ 确保环境已激活（命令行有“(rag-env)”），若超时用手机热点，或更换国内源（如阿里云源：-i https://mirrors.aliyun.com/pypi/simple/）。

2. 简单优化：让RAG更好用

• •支持更多文档格式：若想导入Word/Markdown，在“process_docs.py”中添加对应处理代码（如用python-docx库处理Word，python-markdown处理MD）；
• •加快检索速度：将Chroma数据库换成FAISS（轻量更快），只需在脚本中替换数据库初始化代码（参考摘要4中的FAISS配置）；
• •添加Web界面：用Streamlit做简单界面（无需懂前端），安装pip install streamlit，编写app.py脚本即可实现“浏览器提问”（具体代码可参考摘要6）。

九、 总结

通过本教程，你已在个人笔记本上搭建了一个能“读懂”自己文档的本地RAG系统——从环境准备到问答测试，全程无需复杂代码，普通用户2小时即可完成。后续可根据需求扩展：导入更多工作文档做“办公助手”，加入学习笔记做“备考伙伴”，甚至整合智能家居控制（如摘要4中的物联网场景）。

本地RAG的核心价值在于“私人定制”与“隐私安全”，随着开源工具的迭代，未来在手机、平板等设备上也能部署，真正实现“随身专属AI”。动手试试吧，让技术为你的学习与工作赋能！

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】