摘要：上篇我们搞懂了聚焦爬虫是我们要学的方向。但动手之前，有一个更根本的问题必须想清楚：爬虫合法吗？ 为什么有的爬虫被欢迎，有的却惹上官司？本文用5分钟带你搞懂爬虫的法律边界、Robots协议的本质，以及作为一名爬虫开发者该遵守的“爬虫伦理”。
一、爬虫本身不是原罪
先给一个明确的结论：
爬虫技术本身是合法的，但爬取数据的方式和用途可能触犯法律。
这就像一把刀——切菜合法，伤人犯法。爬虫只是一种自动访问网页的工具，关键在于你怎么用和用来干什么。
法律上的三条红线（中国法律框架下）：
不能爬取个人信息并出售或提供：违反《个人信息保护法》，情节严重的可能构成侵犯公民个人信息罪。
不能破解网站的反爬措施：如果网站有明确的技术保护措施，你强行绕过，可能构成非法获取计算机信息系统数据罪。
不能把你爬取的数据用于非法用途或侵犯他人著作权：比如爬别人文章原封不动发到自己博客。
简单记：公开数据、合理频率、个人学习研究——相对安全。破解登录、绕过付费、出售数据——绝对危险。
二、Robots协议：网站对爬虫说的第一句话
每个网站都可以在根目录放一个robots.txt文件，告诉爬虫：“哪些页面你可以爬，哪些不可以。”
它就是一张贴在网站门口的行为守则。
来看一个例子。在浏览器输入https://www.example.com/robots.txt，你会看到类似这样的内容：
User-agent: * ← 对所有的爬虫说 Disallow: /private/ ← 这个目录不允许访问 Disallow: /admin/ ← 后台管理目录也别进 Allow: /public/ ← 这个目录允许
再看一个CSDN的简化示例（仅示意）：
User-agent: * Disallow: /admin/ Disallow: /api/ Allow: / # Crawl-delay: 10
这里的关键字段：
| 字段 | 含义 |
|---|---|
User-agent | 指定这条规则对哪个爬虫生效。*表示所有爬虫 |
Disallow | 不允许访问的路径 |
Allow | 允许访问的路径 |
Crawl-delay | 请求间隔（秒），如Crawl-delay: 10表示每10秒才能请求一次 |
Python里怎么解析robots.txt？
import urllib.robotparser rp = urllib.robotparser.RobotFileParser() rp.set_url('https://www.example.com/robots.txt') rp.read() # 检查某个爬虫能否访问某个URL can_crawl = rp.can_fetch('*', 'https://www.example.com/public/page.html') print(can_crawl) # True can_crawl = rp.can_fetch('*', 'https://www.example.com/private/data.html') print(can_crawl) # False三、Robots协议有没有法律效力？
这是个好问题，也是新手最容易混淆的地方。
技术上：Robots协议是君子协定(开个笑话：‘只防君子，不防小人’)，不是技术强制措施。你完全可以无视它，代码不会因为违反robots.txt而报错。
法律上：在中国司法实践中，违反robots协议爬取数据，可能被认定为“采用技术手段获取数据”的非法行为。特别是在被爬网站明确在robots.txt中禁止，且你爬取的是对方有商业价值的数据时。
一句话总结：Robots.txt虽然没有直接的法律条款说“违反就是违法”，但在司法实践中它会作为网站是否“明确表示不愿被爬取”的重要证据。遵守它，是爬虫开发者自我保护的第一步。
四、爬虫伦理：成为“绅士爬虫”的5条准则
法律是底线，伦理是你作为技术人的自觉。下面这5条，建议贴在桌面上：
1. 遵守Robots协议
Disallow的目录不要碰。如果整个网站都Disallow，那就换个别的方式获取数据，或者主动联系网站方。
2. 控制请求频率
不要高并发轰炸小网站。你的目标是获取数据，不是搞垮对方服务器。带上合理的延时（time.sleep(1~3秒)），降低并发数。
3. 如实填写User-Agent
最好在你的User-Agent里留下联系方式，让网站管理员有问题时能找到你。比如：
MyCrawler/1.0 (your-email@example.com; research purpose)
4. 尊重数据版权
你爬取的内容，版权仍属原作者。用于个人学习没问题，但不要直接以此牟利或侵权。
5. 只爬公开数据
需要登录才能看的内容，不要强行爬；付费内容，不要试图绕过付费墙。
五、典型的“爬虫翻车”场景
场景一：写了个爬虫高并发抓某小网站，没设置延时 => 网站直接503崩了 => 网站报警。
场景二：爬取某平台的付费课程数据，绕过登录 => 被认定非法获取计算机信息系统数据。
场景三：把某招聘网站的简历数据爬下来打包出售 => 侵犯公民个人信息，刑事案件。
反过来，安全合法的事例：
爬取公开的天气数据做个人分析。
爬取政府公开数据做统计报告。
爬取自己博客的数据做备份。
搜索引擎爬取公开网页建立索引（它们会遵守robots.txt）。
六、结语：做一个有边界感的爬虫开发者
技术是中性的，使用技术的人要有一把内心的尺子。遵守Robots协议、尊重数据版权、控制抓取频率，这些看似限制你手脚的规矩，其实是保护你长久做这件事的护栏。
如果这篇文章让你对爬虫的法律边界有了清晰认识，请点个赞。有关于爬虫合规的任何问题，欢迎评论区交流。
