更多内容请见： 《100天Go语言从入门到精通系列》 - 专栏介绍和目录
文章目录
- 一、Pholcus概述
- 1.1 Pholcus 是什么？
- 1.2 核心优势
- 1.3 核心架构设计
- 1.4 Pholcus的工作流程
- 1.5 和其他爬虫框架对比（Pholcus vs Colly vs Scrapy）
- 二、Pholcus的使用
- 2.1 安装 Pholcus
- 2.2 第一个“Hello World”
- 2.3 写一个 Pholcus 爬虫（以抓取 Hacker News 为例）
- 2.4 Pholcus的部署步骤
- 2.5 自定义 Pipeline（输出到 MySQL）
- 2.6 动态规则热加载
一、Pholcus概述
1.1 Pholcus 是什么？
Pholcus（幽灵蛛）是一个用 Go 语言编写的高并发、分布式、可扩展的网络爬虫框架，专为大规模数据采集设计。它支持动态规则配置、分布式任务调度、多种输出格式，并具备完善的反爬对抗机制。
- 全称：Pholcus (Pholcus phalangioides)
- 作者：纯国产（Go 语言专家 henrylee2cn）
- 核心定位：高并发、分布式、模块化、支持 Web 管理界面的爬虫框架。
- 对标产品：Java 的 WebMagic，Python 的 Scrapy-Redis。
- GitHub：https://github.com/henrylee2cn/pholcus
1.2 核心优势
- 纯 GUI/WEB 控制：你可以在浏览器里点“开始”、“停止”、“暂停”，查看实时日志和状态，无需黑乎乎的命令行。
- 原生支持热加载：修改爬虫逻辑代码后，通常无需重启，直接在界面生效。
