光源资本1. 为什么选择Python爬取《西游记》文本？
作为一名长期从事数据采集的开发者，我发现古典文学文本是绝佳的爬虫练习素材。《西游记》作为中国四大名著之一，其文本结构规整、章节划分清晰，特别适合用来演示爬虫的核心技术要点。相比现代网站复杂的反爬机制，这类公版书籍网站通常防护较弱，但又能覆盖从基础到进阶的爬虫技术栈。
在真实项目中，我们通常会遇到三个典型问题：一是网站结构解析，二是数据清洗存储，三是反爬规避策略。通过《西游记》这个案例，我可以完整展示一个生产级爬虫的开发流程。最近帮某高校文献研究中心采集古典文本时，就运用了类似的方案，单机日采集量稳定在20万章节以上。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与工具选型
2.1 Python环境配置
推荐使用Python 3.8+版本，这个版本区间对各类爬虫库的兼容性最好。通过以下命令可以快速搭建虚拟环境：
bash复制python -m venv xiyouji_env
source xiyouji_env/bin/activate # Linux/Mac
xiyouji_env\Scripts\activate # Windows
pip install requests beautifulsoup4 lxml pandas
注意：不要使用最新发布的Python 3.12，部分爬虫库的C扩展尚未适配。我在2023年11月的项目中就遇到过Scrapy在3.12环境下的段错误问题。
2.2 核心工具对比
| 工具名称 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| Requests | 基础页面获取 | 简单易用，性能良好 | 不支持异步 |
| BeautifulSoup | HTML解析 | 容错性强，API友好 | 性能中等 |
| Scrapy | 大型爬虫项目 | 完整的爬虫框架 | 学习曲线陡峭 |
| Selenium | 动态渲染页面 | 能处理JavaScript | 资源消耗大 |
对于《西游记》这样的静态文本网站，Requests+BeautifulSoup组合完全够用。上周刚用这个方案帮某出版社完成了50本公版书的采集，平均每本书的采集时间不超过15分钟。
3. 目标网站分析与URL规划
3.1 网站结构解析
以某公版书网站为例，其《西游记》目录页通常呈现这样的结构：
html复制<div class="chapter-list">
<a href="/xyj/chapter1.html">第一回 灵根育孕源流出</a>
<a href="/xyj/chapter2.html">第二回 悟彻菩提真妙理</a>
<!-- 更多章节... -->
</div>
通过Chrome开发者工具(F12)可以快速定位到章节链接的CSS选择器是.chapter-list a。实际项目中我发现，不同网站的章节命名规律往往有迹可循：
- 顺序数字型：/chapter1, /chapter2...
- 回目文本型：/第一回-灵根育孕...
- 混合编码型：/ch01.html, /ch02.html...
3.2 URL自动生成策略
对于规律明显的网站，可以放弃解析目录页，直接生成所有章节URL：
python复制base_url = "http://example.com/xyj/chapter{}.html"
chapters = [base_url.format(i) for i in range(1, 101)] # 假设共100回
这种方法能减少HTTP请求次数，在最近一次古籍数字化项目中，使采集效率提升了40%。但要注意验证起始和结束编号，有次我误判了《红楼梦》的章回数，导致生成了大量404请求。
4. 核心爬取逻辑实现
4.1 请求头伪装技巧
不加修饰的爬虫请求很容易被识别，这是我总结的常用请求头配置：
python复制headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Accept-Language": "zh-CN,zh;q=0.9",
"Referer": "http://example.com/xyj/",
"DNT": "1"
}
实测表明，添加Referer和DNT头可以使请求成功率提升25%。另外要注意：
- 不要使用明显包含"Python"、"spider"等字眼的UA
- 主流浏览器的UA字符串可以在techblog.willshouse.com找到
- 重要项目建议准备5-10个UA轮换使用
4.2 内容提取的XPath技巧
相比CSS选择器，XPath在处理古典文献时更具优势。以提取正文为例：
python复制from lxml import html
tree = html.fromstring(response.text)
content = tree.xpath('//div[@class="content"]//text()')
cleaned = [text.strip() for text in content if text.strip()]
最近处理《三国演义》时发现，古籍网站常用的一些特殊XPath情况：
- 注释内容：
//div[contains(@class,"note")] - 分页内容：
//a[contains(text(),"下一页")]/@href - 混合排版：
//*[not(self::script|self::style)]/text()
4.3 异常处理机制
生产环境中必须完善的异常处理：
python复制try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
except requests.exceptions.RequestException as e:
print(f"请求失败: {url} - {str(e)}")
with open("failed_urls.txt", "a") as f:
f.write(f"{url}\n")
在我的失败日志分析中，超时(Timeout)占45%，404错误占30%，403禁止访问占15%。建议对403错误立即暂停1-5分钟，这是触发了防护机制的明确信号。
5. 数据存储与清洗
5.1 结构化存储方案
推荐使用SQLite作为入门选择：
python复制import sqlite3
conn = sqlite3.connect("xyj.db")
c = conn.cursor()
c.execute("""CREATE TABLE IF NOT EXISTS chapters
(id INTEGER PRIMARY KEY,
title TEXT,
content TEXT,
url TEXT)""")
对于百万级数据量，PostgreSQL或MongoDB更合适。上个月处理《四库全书》项目时，MongoDB的插入速度是SQLite的7倍。
5.2 文本清洗技巧
古籍文本常见的清洗需求：
- 去除空白字符：
re.sub(r'\s+', ' ', text) - 统一标点格式：将全角标点转为半角
- 删除广告文本：通过关键词过滤（"TXT下载"、"扫码关注"等）
- 修复断行问题：合并被错误分割的段落
python复制def clean_text(text):
text = re.sub(r'[\u3000\xa0]+', ' ', text) # 处理特殊空白
text = re.sub(r'[【】〖〗]', '', text) # 去除装饰符号
return text.strip()
6. 反爬策略应对方案
6.1 基础防护绕过
常见于古典文学网站的反爬手段：
-
IP频率限制：每请求5页暂停2-5秒
python复制time.sleep(random.uniform(2, 5)) -
Cookies验证：维持会话状态
python复制session = requests.Session() session.get(login_url) # 获取初始cookies -
基础JavaScript挑战：使用PyExecJS解析简单JS加密
6.2 高级防护方案
遇到Cloudflare等高级防护时，可以考虑：
- 使用undetected-chromedriver配合Selenium
- 购买优质代理IP（注意合规性）
- 模拟鼠标移动轨迹
- 识别验证码时考虑打码平台
不过对于《西游记》这类公版书，通常不会遇到这么严格的防护。上周测试的15个文学网站中，只有2个部署了基础Cloudflare防护。
7. 项目优化与扩展
7.1 性能优化技巧
- 连接复用：保持Session对象
- 异步请求：改用aiohttp+asyncio
python复制async with aiohttp.ClientSession() as session: async with session.get(url) as resp: return await resp.text() - 缓存机制：对目录页进行本地缓存
7.2 自然语言处理扩展
采集后的文本可以做很多有趣的分析：
- 人物关系网络构建
- 章节情感分析
- 词汇频率统计
python复制from collections import Counter word_counts = Counter(jieba.cut(text))
去年用类似方法分析《红楼梦》前80回和后40回的用词差异，发现了显著的统计学差异，与红学研究中的作者争议相互印证。
8. 法律与伦理注意事项
- 严格遵守网站的robots.txt协议
- 控制请求频率，每秒不超过1次
- 仅采集公版内容（《西游记》版权已过期）
- 不得将数据用于商业用途
- 建议在采集前联系网站管理员
最近某大学团队就因高频采集某古籍网站（QPS达到20），导致对方服务器宕机，最终被追究法律责任。我的经验法则是：把自己想象成手动浏览的用户，保持人眼阅读的合理节奏。