2026爬虫入门终极指南：Requests+BeautifulSoup从网页抓取到数据库存储全流程

前言

我见过太多学爬虫的新手：花了一周时间背完了Requests和BeautifulSoup的所有API，但是真的要爬一个实际的网站的时候，还是两眼一抹黑。要么是请求返回403，要么是解析出来的数据全是乱码，要么是存到数据库的时候报错，最后只能放弃，说一句"爬虫太难了"。

其实爬虫一点都不难，难的是没有人告诉你完整的流程。绝大多数教程都只教你怎么发一个get请求，怎么用find_all找标签，但是从来不会告诉你怎么处理反爬，怎么清洗脏数据，怎么把数据存到数据库，怎么写一个能稳定运行的爬虫。

本文就是为了解决这个问题而生的。我会从最基础的环境搭建开始，一步步带你完成一个完整的爬虫项目：从网页分析、数据抓取、数据清洗，到CSV/JSON/MySQL三种方式的数据存储，再到异常处理和稳定性优化。所有代码都经过实测，所有坑都给你踩过了，看完你就能写出第一个能真正用的爬虫。

一、整体流程与技术选型

1.1 完整爬虫工作流程

一个工业级的爬虫，绝对不是简单的"发请求+解析"，而是一个完整的闭环系统，包含以下7个核心步骤：

1.2 技术栈选型

对于绝大多数静态网站来说，Requests+BeautifulSoup是最好的入门组合，没有之一。

避坑提醒：不要一上来就学Selenium和Playwright。对于90%的静态网站来说，Requests+BeautifulSoup足够了，而且速度比Selenium快10倍以上。只有当网站是纯前端渲染，无法通过接口获取数据的时候，才需要用浏览器自动化工具。

二、第一步：环境搭建

首先安装我们需要的所有库，建议使用虚拟环境，避免版本冲突：

# 安装核心库pipinstallrequests==2.32.3beautifulsoup4==4.12.3lxml==5.2.2# 安装数据处理和存储库pipinstallpandas==2.2.2pymysql==1.1.1# 安装可选工具pipinstallfake-useragent==1.5.1# 生成随机User-Agent

版本说明：一定要用上面指定的版本，不同版本的API可能会有细微差别，导致代码运行失败。尤其是BeautifulSoup，4.0和3.0的API完全不兼容。

三、第二步：网页分析（最关键的一步）

很多新手写爬虫的习惯是：打开网站，然后直接开始写代码发请求。这是完全错误的。写代码之前，一定要先花10分钟分析网页结构，这能帮你节省后面几个小时的调试时间。

3.1 用Chrome开发者工具分析网页

1. 打开你要爬的网站，按F12打开Chrome开发者工具
2. 切换到"Elements"标签，点击左上角的箭头图标，然后点击网页上你要提取的数据
3. 右侧会自动定位到对应的HTML标签，观察数据所在的标签结构
4. 切换到"Network"标签，刷新页面，找到对应的请求，查看请求头和响应内容

关键技巧：

• 不要看页面上显示的内容，要看HTML源码里的内容。有时候页面上显示的内容和源码里的不一样，是因为JS动态渲染的
• 如果在Elements里能看到数据，但是在Response里看不到，说明数据是JS动态加载的，需要找对应的API接口
• 一定要看请求头里的User-Agent、Referer、Cookie等字段，这些是最常见的反爬检测点

3.2 实战案例：爬取博客文章列表

我们以一个典型的博客网站为例，分析它的文章列表页面。假设我们要提取每篇文章的标题、作者、发布时间和摘要。

通过分析，我们发现每篇文章都在一个<div class="post-item">标签里，结构如下：

<divclass="post-item"><h2class="post-title"><ahref="/post/1">文章标题</a></h2><divclass="post-meta"><spanclass="author">作者</span><spanclass="date">2026-04-20</span></div><pclass="post-excerpt">文章摘要...</p></div>

这个结构非常清晰，我们可以很容易地用BeautifulSoup提取出所有需要的数据。

四、第三步：发送请求与反爬绕过

4.1 基础请求发送

用Requests发送一个GET请求非常简单：

importrequests url="https://example.com/blog"response=requests.get(url)print(f"状态码：{response.status_code}")print(f"响应内容：{response.text[:500]}")

但是绝大多数网站都会检测User-Agent，如果发现是Python的默认User-Agent，会直接返回403。所以我们需要设置一个真实的User-Agent：

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36","Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8","Accept-Language":"zh-CN,zh;q=0.9","Referer":"https://example.com/"}response=requests.get(url,headers=headers,timeout=10)

4.2 常见反爬绕过

1. 随机User-Agent：使用fake-useragent库生成随机的User-Agent，避免被检测

fromfake_useragentimportUserAgent ua=UserAgent()headers={"User-Agent":ua.random}

2. 设置随机延迟：不要请求太快，否则很容易被封IP。建议每次请求之间随机延迟1-3秒

importtimeimportrandom time.sleep(1+random.random()*2)

3. 会话保持：如果网站需要登录，使用Session对象保持Cookie

session=requests.Session()session.headers.update(headers)# 登录session.post("https://example.com/login",data={"username":"xxx","password":"xxx"})# 登录后访问需要权限的页面response=session.get("https://example.com/user")

4.3 处理编码问题

这是90%的新手都会遇到的问题：爬下来的中文全是乱码。解决方案非常简单：

# 方法1：手动指定编码response.encoding="utf-8"# 方法2：自动检测编码（最可靠）response.encoding=response.apparent_encodingprint(response.text)

五、第四步：用BeautifulSoup解析HTML

5.1 基础解析方法

BeautifulSoup的核心是两个方法：find()和find_all()。

• find()：返回第一个匹配的标签
• find_all()：返回所有匹配的标签的列表

frombs4importBeautifulSoup# 解析HTMLsoup=BeautifulSoup(response.text,"lxml")# 找到所有的文章项post_items=soup.find_all("div",class_="post-item")# 遍历每个文章项，提取数据posts=[]foriteminpost_items:# 提取标题title=item.find("h2",class_="post-title").text.strip()# 提取链接link=item.find("h2",class_="post-title").find("a")["href"]full_link=f"https://example.com{link}"# 提取作者author=item.find("span",class_="author").text.strip()# 提取发布时间date=item.find("span",class_="date").text.strip()# 提取摘要excerpt=item.find("p",class_="post-excerpt").text.strip()posts.append({"title":title,"link":full_link,"author":author,"date":date,"excerpt":excerpt})print(f"共提取到{len(posts)}篇文章")

5.2 处理缺失数据

很多时候，有些文章可能没有摘要或者作者，如果直接调用.text会报错。所以我们需要做异常处理：

# 安全提取文本的工具函数defsafe_get_text(element):returnelement.text.strip()ifelementelse""# 安全提取属性的工具函数defsafe_get_attr(element,attr):returnelement[attr].strip()ifelementelse""# 使用示例excerpt=safe_get_text(item.find("p",class_="post-excerpt"))

六、第五步：数据清洗

爬下来的原始数据通常有很多脏数据，比如多余的空格、换行符、特殊字符等。我们需要对数据进行清洗，让它变得干净可用。

importredefclean_text(text):"""清洗文本数据"""ifnottext:return""# 去除多余的空格和换行符text=re.sub(r"\s+"," ",text)# 去除特殊字符text=re.sub(r"[^\w\s\u4e00-\u9fa5，。！？：；""''()（）]","",text)# 去除首尾空格text=text.strip()returntext# 应用数据清洗forpostinposts:post["title"]=clean_text(post["title"])post["author"]=clean_text(post["author"])post["excerpt"]=clean_text(post["excerpt"])

七、第六步：数据存储

我会介绍三种最常用的数据存储方式，分别适用于不同的场景。

7.1 存储为CSV文件

CSV文件是最简单的存储方式，适合小数据量，方便用Excel打开查看。

importpandasaspd# 将数据转换为DataFramedf=pd.DataFrame(posts)# 保存为CSV文件df.to_csv("blog_posts.csv",index=False,encoding="utf-8-sig")print("数据已保存到blog_posts.csv")

注意：一定要用utf-8-sig编码，否则用Excel打开会乱码。

7.2 存储为JSON文件

JSON文件适合存储结构化数据，方便后续用Python读取和处理。

importjsonwithopen("blog_posts.json","w",encoding="utf-8")asf:json.dump(posts,f,ensure_ascii=False,indent=2)print("数据已保存到blog_posts.json")

7.3 存储到MySQL数据库

对于大数据量，或者需要后续查询和分析的数据，建议存储到MySQL数据库。

首先创建数据库和表：

CREATEDATABASEIFNOTEXISTSblogDEFAULTCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;USEblog;CREATETABLEIFNOTEXISTSposts(idINTAUTO_INCREMENTPRIMARYKEY,titleVARCHAR(255)NOTNULL,linkVARCHAR(255)NOTNULLUNIQUE,authorVARCHAR(50),dateDATE,excerptTEXT,create_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMP)ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;

然后用Python将数据插入数据库：

importpymysql# 连接数据库db=pymysql.connect(host="localhost",user="root",password="your_password",database="blog",charset="utf8mb4")cursor=db.cursor()# 插入数据forpostinposts:sql=""" INSERT IGNORE INTO posts (title, link, author, date, excerpt) VALUES (%s, %s, %s, %s, %s) """values=(post["title"],post["link"],post["author"],post["date"],post["excerpt"])try:cursor.execute(sql,values)db.commit()exceptExceptionase:db.rollback()print(f"插入失败：{e}")db.close()print("数据已保存到MySQL数据库")

注意：使用INSERT IGNORE可以避免重复插入相同链接的文章。

八、第七步：异常处理与稳定性优化

一个玩具爬虫和一个工业级爬虫的区别，就在于异常处理。没有异常处理的爬虫，只要遇到一点网络波动或者网页变化，就会直接崩溃。

8.1 通用重试机制

deffetch_url(url,headers=None,retries=3):"""带重试机制的请求函数"""foriinrange(retries):try:response=requests.get(url,headers=headers,timeout=10)response.raise_for_status()# 如果状态码不是200，抛出异常response.encoding=response.apparent_encodingreturnresponseexceptExceptionase:print(f"请求失败，第{i+1}次重试：{e}")time.sleep(2**i)# 指数退避print(f"请求失败，已重试{retries}次")returnNone

8.2 完整的爬虫函数

defcrawl_blog(base_url,max_pages=10):"""爬取博客文章列表"""all_posts=[]headers={"User-Agent":UserAgent().random}forpageinrange(1,max_pages+1):print(f"正在爬取第{page}页...")url=f"{base_url}?page={page}"response=fetch_url(url,headers)ifnotresponse:continuesoup=BeautifulSoup(response.text,"lxml")post_items=soup.find_all("div",class_="post-item")ifnotpost_items:print("没有更多文章了")breakforiteminpost_items:post={"title":safe_get_text(item.find("h2",class_="post-title")),"link":safe_get_attr(item.find("h2",class_="post-title").find("a"),"href"),"author":safe_get_text(item.find("span",class_="author")),"date":safe_get_text(item.find("span",class_="date")),"excerpt":safe_get_text(item.find("p",class_="post-excerpt"))}# 数据清洗fork,vinpost.items():post[k]=clean_text(v)all_posts.append(post)time.sleep(1+random.random()*2)print(f"爬取完成，共获取{len(all_posts)}篇文章")returnall_posts

九、踩坑实录：90%的新手都会遇到的问题

1. 中文乱码：永远不要用默认编码，一定要手动指定response.encoding = response.apparent_encoding
2. 标签找不到：先检查类名是否正确，注意区分class和class_；然后检查数据是否是JS动态加载的
3. 被封IP：不要请求太快，设置随机延迟，使用代理IP池
4. 数据库插入失败：检查字段类型和长度是否正确，使用异常处理捕获错误
5. 爬虫运行一段时间就崩溃：添加完善的异常处理和重试机制，不要让一个错误导致整个爬虫崩溃

十、总结

Requests+BeautifulSoup是爬虫入门的最佳组合，它们简单、易用、功能强大，能解决90%以上的静态网站爬取需求。

写爬虫的核心不是代码，而是分析能力和解决问题的能力。每个网站的结构都不一样，反爬措施也不一样，没有万能的代码。你需要学会分析网页结构，学会调试代码，学会解决遇到的各种问题。

最后再次强调：请遵守法律法规，不要爬取敏感信息，不要用于商业用途，不要给网站服务器造成过大的压力。爬虫技术是一把双刃剑，用好了可以提高工作效率，用不好会给自己带来麻烦。

👉 点击我的头像进入主页，关注专栏第一时间收到更新提醒，有问题评论区交流，看到都会回。