Python爬虫实战：手把手教你如何采集开源许可证 FAQ 文章归档！

㊗️本期内容已收录至专栏《Python爬虫实战》，持续完善知识体系与项目实战，建议先订阅收藏，后续查阅更方便～
㊙️本期爬虫难度指数：⭐⭐ (中级)
🉐福利：一次订阅后，专栏内的所有文章可永久免费看，持续更新中，保底1000+(篇)硬核实战内容。

🌟 开篇语

哈喽，各位小伙伴们你们好呀～我是【喵手】。
运营社区： C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO
欢迎大家常来逛逛，一起学习，一起进步～🌟

我长期专注Python 爬虫工程化实战，主理专栏 《Python爬虫实战》：从采集策略到反爬对抗，从数据清洗到分布式调度，持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”，让数据价值真正做到——抓得到、洗得净、用得上。

📌专栏食用指南（建议收藏）

• ✅ 入门基础：环境搭建 / 请求与解析 / 数据落库
• ✅ 进阶提升：登录鉴权 / 动态渲染 / 反爬对抗
• ✅ 工程实战：异步并发 / 分布式调度 / 监控与容错
• ✅ 项目落地：数据治理 / 可视化分析 / 场景化应用

📣专栏推广时间：如果你想系统学爬虫，而不是碎片化东拼西凑，欢迎订阅专栏👉《Python爬虫实战》👈，一次订阅后，专栏内的所有文章可永久免费阅读，持续更新中。

💕订阅后更新会优先推送，按目录学习更高效💯～

0️⃣ 前言（Preface）

天下代码一大抄，但“抄”也要讲基本法。GPL、MIT、Apache… 这些开源许可证到底有什么区别？如果我们在公司项目中用错了，分分钟收到律师函。

今天，我们要写一个专门针对开源合规问答（FAQ）的爬虫。我们将模拟抓取开源倡议组织（或类似的技术合规博客）的 FAQ 专栏。把那些晦涩难懂的法律解释，清洗成干净的问题、摘要和许可证类型。

读完这篇，你能获得：

1. 🧠语料清洗思维：学会如何从长篇大论的法律文本中提取“摘要（Summary）”。
2. 🏷️正则打标术：掌握如何通过标题或正文关键词，自动给文章打上“许可证类型”标签。
3. 🛡️高质量数据集：收获一份随时可喂给 LLM（大语言模型）的垂直领域合规语料。

1️⃣ 摘要（Abstract）

• 目标对象：典型的开源合规问答网站（List-Detail 结构的静态页面）。
• 核心工具：requests(发包),BeautifulSoup4(DOM解析),textwrap(文本截断与摘要)。
• 最终产出：一份高质量的、可以直接用于数据分析的英文命名文件opensource_license_faqs.csv。
• 核心价值：自动化收集法务级问答数据，为研发团队的合规检查工具提供底层知识库支撑。

2️⃣ 背景与需求（Why）

• 为什么要爬：

  • 合规辅助：研发团队经常问“我改了某个库的代码，需要开源吗？”，我们需要一个快速检索的内部知识库。
  • 大模型语料（AI Corpus）：法律条文是极佳的逻辑训练语料，通过爬取结构化的 Q&A，可以用来微调垂类大模型。

• 🎯 目标字段清单：

  • Title: 文章或问题标题（如 “Can I mix GPL and MIT?”）。
  • Question: 具体的疑问描述。
  • Answer_Summary: 答案摘要（提取正文的前 150 个字符）。
  • License_Type: 许可证类型（自动打标，如GPL,MIT,Apache）。
  • Link: 原始出处链接（溯源必备）。

3️⃣ 合规与注意事项（必写）

1. Robots.txt 协议：大多数开源组织的文档站对爬虫是非常包容的，但请务必带上包含你邮箱的 User-Agent，以便站长联系。
2. 频率控制：法律文档站通常不需要极高的时效性，请设置time.sleep(2)慢慢爬，绝不要发起攻击式并发。
3. 免责声明：爬取下来的数据仅供技术学习和内部参考。爬虫提取的摘要不能替代专业律师的法律意见！👨‍⚖️

4️⃣ 技术选型与整体流程（What/How）

• 技术栈选择：因为 FAQ 文档页 99% 都是为了 SEO 优化的纯静态 HTML，所以绝对不需要繁重的 Selenium！我们用requests+bs4的轻量级组合。
• 整体流程图：

5️⃣ 环境准备与依赖安装（可复现）

Python 版本：推荐 Python 3.9+ 🐍

依赖安装：
打开终端，运行这行魔法代码：

pipinstallrequests beautifulsoup4 pandas

项目结构推荐：

license_corpus_builder/ ├── crawler.py # 主爬虫脚本 └── data/ └── opensource_license_faqs.csv # 最终输出的语料文件

6️⃣ 核心实现：请求层（Fetcher）

我们构建一个带错误重试（Retry）的强壮请求器，因为爬取大量页面时，偶尔的网络丢包是很常见的。

importrequestsimporttimeimportrandomfromrequests.adaptersimportHTTPAdapterfromurllib3.util.retryimportRetrydefget_html_safely(url):""" 专业的请求器：带重试机制、超时控制和礼貌休眠 """session=requests.Session()# 遇到网络错误时，最多重试 3 次，每次间隔逐渐拉长retries=Retry(total=3,backoff_factor=1,status_forcelist=[429,500,502,503,504])session.mount('https://',HTTPAdapter(max_retries=retries))headers={"User-Agent":"Compliance-Corpus-Bot/1.0 (Learning Project)","Accept":"text/html,application/xhtml+xml"}try:# 🟢 礼貌抓取：随机休眠 1~2.5 秒time.sleep(random.uniform(1.0,2.5))response=session.get(url,headers=headers,timeout=15)response.raise_for_status()# 非 200 状态码直接抛出异常# 确保中文或多语言文本不乱码response.encoding='utf-8'returnresponse.textexceptExceptionase:print(f"❌ 请求失败 [{url}]:{e}")returnNone

7️⃣ 核心实现：解析层（Parser）

这是本项目的灵魂！我们需要从 HTML 中抽取出答案，并提炼摘要，同时利用简单的逻辑识别许可证类型。

frombs4importBeautifulSoupimportreimporttextwrapdefparse_faq_list(html,base_url):""" 解析列表页，获取所有 FAQ 详情页链接 """soup=BeautifulSoup(html,'html.parser')article_links=[]# 假设文章链接都在 class 为 'faq-item' 的 a 标签中# 真实场景中，请根据目标网站实际 DOM 结构调整选择器fora_taginsoup.select('.faq-list a[href]'):href=a_tag['href']# 拼接绝对路径full_url=hrefifhref.startswith('http')elsef"{base_url.rstrip('/')}/{href.lstrip('/')}"article_links.append(full_url)# 去重returnlist(set(article_links))defextract_license_type(text):""" 🏷️ 自动打标引擎：根据文本内容识别涉及的开源许可证 """text_upper=text.upper()licenses=[]if"GPL"intext_upper:licenses.append("GPL")if"MIT"intext_upper:licenses.append("MIT")if"APACHE"intext_upper:licenses.append("Apache")if"BSD"intext_upper:licenses.append("BSD")return"/".join(licenses)iflicenseselse"General/Other"defparse_faq_detail(html,url):""" 进入详情页，抽取核心语料 """soup=BeautifulSoup(html,'html.parser')data={"Link":url}try:# 1. 提取标题 (通常在 h1)title_tag=soup.find('h1')data['Title']=title_tag.get_text(strip=True)iftitle_tagelse"Unknown Title"# 2. 提取问题 (有些 FAQ 把问题直接当标题，有些有单独的 <div class="question">)q_tag=soup.find('div',class_=re.compile(r'question',re.I))# 如果没有单独的问题框，就复用标题data['Question']=q_tag.get_text(strip=True)ifq_tagelsedata['Title']# 3. 提取答案正文与摘要# 假设答案在一个 <div class="answer"> 或 <article> 里ans_block=soup.find('div',class_=re.compile(r'answer|content|article',re.I))ifans_block:# 去除脚本和样式forscriptinans_block(["script","style"]):script.decompose()full_answer=ans_block.get_text(separator=" ",strip=True)# ✂️ 生成摘要：提取前 150 个字符，并在完整单词边界截断summary=textwrap.shorten(full_answer,width=150,placeholder="...")data['Answer_Summary']=summaryelse:data['Answer_Summary']="No answer content found."# 4. 自动推断 License_Type (依据标题和问题的关键词)data['License_Type']=extract_license_type(data['Title']+" "+data['Question'])exceptExceptionase:print(f"⚠️ 详情页解析异常:{e}")returnNonereturndata

8️⃣ 数据存储与导出（Storage）

作为合格的语料库，存为带表头的.csv文件是最标准的操作。我们规定全部使用英文列名，方便后续直接导入 Pandas 或 HuggingFace Datasets。

importpandasaspdimportosdefsave_to_corpus(data_list,filename="data/opensource_license_faqs.csv"):ifnotdata_list:return# 确保 data 目录存在os.makedirs(os.path.dirname(filename),exist_ok=True)df=pd.DataFrame(data_list)# 明确规定列的顺序columns_order=['Title','Question','Answer_Summary','License_Type','Link']df=df[columns_order]# URL 唯一性去重（Hash 策略的体现）df.drop_duplicates(subset=['Link'],inplace=True)# 追加写入模式file_exists=os.path.exists(filename)df.to_csv(filename,mode='a',header=notfile_exists,index=False,encoding='utf-8-sig')print(f"💾 成功追加{len(df)}条合规语料至:{filename}")

9️⃣ 运行方式与结果展示（必写）

主程序入口 (crawler.py)：

defmain():# 虚拟一个目标站点的 URLbase_url="https://example-opensource-compliance.org"list_url=f"{base_url}/faq"print("🚀 启动开源许可证合规语料爬虫...")# 1. 抓取列表页print(f"📄 正在获取列表页:{list_url}")list_html=get_html_safely(list_url)ifnotlist_html:print("❌ 列表页抓取失败，退出程序。")return# 2. 解析文章链接article_links=parse_faq_list(list_html,base_url)print(f" └── 发现{len(article_links)}篇 FAQ，开始下钻提取...")corpus_data=[]# 3. 遍历提取语料 (演示只跑前 3 个)forlinkinarticle_links[:3]:print(f" ⏳ 正在提取:{link.split('/')[-1]}",end="\r")detail_html=get_html_safely(link)ifdetail_html:faq_data=parse_faq_detail(detail_html,link)iffaq_data:corpus_data.append(faq_data)print("\n")# 4. 存储数据save_to_corpus(corpus_data)print("✅ 语料库构建完成！")if__name__=="__main__":main()

📊 结果展示（Sample Output）：
运行后，你的opensource_license_faqs.csv文件看起来会像这样（纯英文表头结构）：

🔟 常见问题与排错（强烈建议写）

1. 文本抓到一堆<br>和\n\n\n怎么办？

   • 现象：Answer_Summary里充满了换行符和空格，非常难看。
   • 解决：使用text = " ".join(text.split())进行魔法级别的空格压缩，这在清洗 LLM 语料时是常规操作。

2. 列表页只是一堆锚点（Anchor Links）？

   • 现象：像 GNU 官方的 FAQ，其实是在同一个超长网页里，通过<a href="#gpl-mit">跳转的。
   • 解决：如果遇到单页结构，不需要再发请求。直接在Parser层通过寻找<h2 id="...">标签，把两个<h2>之间的所有p标签文本合并即可！

3. 遇到 403 Forbidden？

   • 原因：法律和官方机构的网站通常会使用 Cloudflare 基础防护。
   • 解决：除了完善User-Agent，可以在 Header 中加入Accept-Language和Referer，伪装得更像真实浏览器。

1️⃣1️⃣ 进阶优化（可选但加分）

• Markdown 原生提取（大模型最爱）：
  LLM 更喜欢 Markdown 格式而不是纯文本。你可以引入markdownify库，在提取ans_block时，直接将 HTML 转换为带加粗、列表的 Markdown 格式：

  importmarkdownify md_text=markdownify.markdownify(str(ans_block),heading_style="ATX")

• 增量游标（断点续跑）：
  利用hashlib.md5(url.encode()).hexdigest()生成唯一 ID。每次抓取前先读取 CSV 的 ID 列，如果在里面就直接continue跳过，做到真正的增量更新。

1️⃣2️⃣ 总结与延伸阅读

🎉复盘时刻：
今天我们不仅写出了一个爬虫，更是在做一个**“数据资产化”**的过程！我们把网上杂乱的问答，通过提取、打标、摘要，变成了结构化的法律合规数据集。这套代码稍加修改，完全可以用来爬取 AWS、阿里云等云厂商的架构 FAQ。

下一步可以做什么：
你可以把生成的 CSV 文件丢进LangChain或LlamaIndex，加上一个开源的本地向量数据库（如 ChromaDB），花 10 分钟就能写出一个“开源合规 AI 小助手”，回答公司内部员工的协议疑问！🌟

🌟 文末

好啦～以上就是本期的全部内容啦！如果你在实践过程中遇到任何疑问，欢迎在评论区留言交流，我看到都会尽量回复～咱们下期见！

小伙伴们在批阅的过程中，如果觉得文章不错，欢迎点赞、收藏、关注哦～
三连就是对我写作道路上最好的鼓励与支持！❤️🔥

✅ 专栏持续更新中｜建议收藏 + 订阅

墙裂推荐订阅专栏 👉 《Python爬虫实战》，本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新，争取让每一期内容都做到：

✅ 讲得清楚（原理）｜✅ 跑得起来（代码）｜✅ 用得上（场景）｜✅ 扛得住（工程化）

📣想系统提升的小伙伴：强烈建议先订阅专栏 《Python爬虫实战》，再按目录大纲顺序学习，效率十倍上升～

✅ 互动征集

想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战？

评论区留言告诉我你的需求，我会优先安排实现(更新)哒~

⭐️ 若喜欢我，就请关注我叭～（更新不迷路）
⭐️ 若对你有用，就请点赞支持一下叭～（给我一点点动力）
⭐️ 若有疑问，就请评论留言告诉我叭～（我会补坑 & 更新迭代）

✅ 免责声明

本文爬虫思路、相关技术和代码仅用于学习参考，对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。

使用或者参考本项目即表示您已阅读并同意以下条款：

• 合法使用： 不得将本项目用于任何违法、违规或侵犯他人权益的行为，包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。
• 风险自负： 任何因使用本项目而产生的法律责任、技术风险或经济损失，由使用者自行承担，项目作者不承担任何形式的责任。
• 禁止滥用： 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。
• 使用或者参考本项目即视为同意上述条款,即 “谁使用，谁负责” 。如不同意，请立即停止使用并删除本项目。！！！