Python爬虫实战：豆瓣读书Top250数据采集全流程

1. 项目概述

最近在整理Python爬虫的教学资料，发现很多初学者对数据采集的基础流程掌握不够扎实。今天我就以豆瓣读书Top250为例，手把手带大家走一遍完整的网页数据采集流程。这个案例涵盖了从网页分析、请求发送、数据解析到存储的完整环节，非常适合刚入门爬虫的朋友练手。

豆瓣读书Top250页面结构清晰，数据量适中（共250条记录），且不需要处理复杂的登录验证，是学习基础爬虫技术的理想对象。通过这个案例，你将掌握如何用Python的requests库发送HTTP请求，用BeautifulSoup解析HTML，以及如何将采集到的数据保存为JSON格式。

注意：爬取数据时请遵守网站的robots.txt协议，控制请求频率，避免对目标服务器造成过大压力。

2. 核心工具准备

2.1 必备Python库安装

在开始之前，我们需要安装三个核心Python库：

bash复制pip install requests beautifulsoup4 lxml

• requests：用于发送HTTP请求获取网页内容
• beautifulsoup4：HTML解析库，用于从网页中提取结构化数据
• lxml：BeautifulSoup的解析器，比Python内置的html.parser更快更强大

2.2 开发者工具使用技巧

现代浏览器都内置了开发者工具（按F12或右键"检查"打开），这是我们分析网页结构的利器。重点关注以下几个功能：

1. Elements面板：查看网页DOM结构
2. Network面板：监控所有网络请求
3. Console面板：执行JavaScript代码调试

在Network面板中，我们可以找到关键的请求头信息，比如User-Agent，这是模拟浏览器行为的重要参数。

3. 网页分析与请求构造

3.1 目标页面结构分析

打开豆瓣读书Top250页面（https://book.douban.com/top250），观察页面布局：

1. 每页显示25本书，共10页
2. 每本书的信息包含在一个<tr>标签内
3. 书名、作者、评分等信息位于<td>标签的不同位置

通过查看网页源代码，我们发现分页是通过URL参数start控制的，例如：

• 第一页：start=0
• 第二页：start=25
• ...
• 第十页：start=225

3.2 构造HTTP请求

为了避免被网站识别为爬虫，我们需要设置合理的请求头。最关键的是User-Agent，它告诉服务器我们使用的是哪种浏览器：

python复制headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

发送请求的完整代码：

python复制import requests

url = "https://book.douban.com/top250"
params = {"start": 0}  # 第一页
response = requests.get(url, headers=headers, params=params)
print(response.status_code)  # 应该返回200

提示：实际项目中应该添加异常处理，考虑网络超时、服务器错误等情况。

4. 数据解析实战

4.1 BeautifulSoup基础用法

BeautifulSoup将HTML文档转换为一个复杂的树形结构，我们可以通过各种方法查询和提取数据：

python复制from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "lxml")
books = soup.select("tr.item")  # 选择所有书籍行

4.2 精确提取书籍信息

每本书的信息分布在多个<td>标签中，我们需要仔细分析DOM结构：

python复制for book in books:
    # 书名在第一个td的div > a标签内
    title = book.select_one("td:nth-of-type(2) div a")["title"]
    
    # 作者、出版社等信息在p标签内
    info = book.select_one("td:nth-of-type(2) p").get_text(strip=True)
    
    # 评分在span class="rating_nums"内
    rating = book.select_one("span.rating_nums").get_text(strip=True)
    
    # 评价人数在span class="pl"内
    rating_count = book.select_one("span.pl").get_text(strip=True)[1:-1]  # 去掉括号

4.3 处理特殊字符和空白

网页文本中常包含多余的空格、换行符等，需要清理：

python复制def clean_text(text):
    return " ".join(text.split()).strip()  # 合并多个空格为一个

5. 代码优化与封装

5.1 函数封装提高复用性

将重复代码封装成函数，使逻辑更清晰：

python复制def get_page(page_num):
    """获取指定页码的HTML内容"""
    params = {"start": (page_num - 1) * 25}
    response = requests.get(url, headers=headers, params=params)
    return response.text if response.status_code == 200 else None

def parse_page(html):
    """解析HTML页面，提取书籍信息"""
    soup = BeautifulSoup(html, "lxml")
    books = []
    for item in soup.select("tr.item"):
        book = {
            "title": clean_text(item.select_one("div.pl2 a")["title"]),
            "info": clean_text(item.select_one("p.pl").get_text()),
            "rating": item.select_one("span.rating_nums").get_text(),
            "rating_count": clean_text(item.select_one("span.pl").get_text())[1:-1]
        }
        books.append(book)
    return books

5.2 多页爬取实现

使用循环爬取所有页面：

python复制all_books = []
for page in range(1, 11):  # 豆瓣Top250共10页
    html = get_page(page)
    if html:
        all_books.extend(parse_page(html))
    time.sleep(2)  # 礼貌性延迟，避免请求过于频繁

6. 数据存储与管理

6.1 JSON格式存储

将采集到的数据保存为JSON文件：

python复制import json
import os

def save_to_json(data, filename, path="data"):
    """保存数据到JSON文件"""
    if not os.path.exists(path):
        os.makedirs(path)
    
    filepath = os.path.join(path, filename)
    with open(filepath, "w", encoding="utf-8") as f:
        json.dump(data, f, ensure_ascii=False, indent=2)

6.2 数据去重与清洗

采集完成后可能需要对数据进行清洗：

python复制# 去除重复数据（基于书名）
unique_books = {book["title"]: book for book in all_books}.values()

# 转换评分和评价人数为数值类型
for book in unique_books:
    book["rating"] = float(book["rating"])
    book["rating_count"] = int(book["rating_count"].replace(",", ""))

7. 常见问题与解决方案

7.1 请求被拒绝（403错误）

可能原因及解决方案：

1. User-Agent被识别：更换更常见的User-Agent字符串
2. 请求频率过高：增加请求间隔时间（如time.sleep(2)）
3. IP被封禁：使用代理IP轮换

7.2 数据提取不准确

调试技巧：

1. 先打印整个HTML确认是否获取到正确内容
2. 使用浏览器开发者工具验证CSS选择器
3. 逐步测试每个数据项的提取逻辑

7.3 编码问题

处理中文编码：

python复制response.encoding = "utf-8"  # 确保正确解码

8. 项目扩展思路

掌握了基础爬虫技术后，你可以尝试以下扩展：

1. 定时爬取：使用schedule库实现定时任务，监控数据变化
2. 数据可视化：用matplotlib或pyecharts展示书籍评分分布
3. 数据库存储：将数据存入MySQL或MongoDB
4. 异步爬取：使用aiohttp提高爬取效率

在实际项目中，我还发现豆瓣的页面结构偶尔会有小的调整，所以健壮的爬虫应该：

• 对关键元素添加try-except处理
• 定期检查爬取逻辑是否需要更新
• 保存原始HTML以便后续调试

爬虫开发最重要的是耐心和细心，遇到问题时多分析网页源代码，逐步调试每个环节。这个豆瓣Top250的案例虽然简单，但涵盖了爬虫开发的核心技术栈，是很好的练手项目。