Python爬虫实战：Scrapy框架爬取豆瓣电影Top 250-代码聚汇网

Python爬虫实战：Scrapy框架爬取豆瓣电影Top 250

小鹅通·2026-08-16·阅读 23 GEO检测（免费）

Python爬虫Scrapy框架豆瓣电影Top 250

|难度：普通|阅读约 15 分钟

1. 项目概述：爬取豆瓣电影Top 250的技术价值

爬取公开影视评分数据是Python爬虫领域的经典练手项目。豆瓣电影Top 250作为国内最具公信力的电影榜单，其数据包含影片基本信息、评分、短评等结构化内容，非常适合用来掌握Scrapy框架的核心功能。这个项目看似简单，但完整实现需要处理反爬机制、数据清洗、存储优化等实际问题，是检验爬虫工程师基本功的试金石。

我在实际爬取过程中发现，豆瓣对高频请求的防御策略会随时间变化。2023年最新测试显示，未做任何防护处理的请求在连续访问40-50个页面后就会触发验证码，而通过本文介绍的"请求间隔+随机UA+代理IP"组合方案，可以稳定完成全部250条数据的采集。下面将详细拆解每个环节的技术实现。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与Scrapy项目创建

2.1 基础环境配置

推荐使用Python 3.8+环境，这是目前与Scrapy兼容性最好的版本。通过virtualenv创建隔离环境是必备操作：

bash复制python -m venv douban_env
source douban_env/bin/activate  # Linux/Mac
douban_env\Scripts\activate     # Windows

安装核心依赖时要注意版本匹配：

bash复制pip install scrapy==2.8.0 scrapy-user-agents==0.1.1 pandas==1.5.3

特别注意：不要使用最新版Scrapy 2.9+，其内置的Twisted组件在Windows平台存在已知兼容性问题，可能导致爬虫意外终止。

2.2 Scrapy项目初始化

执行标准创建命令后，我们需要特别关注几个关键文件：

bash复制scrapy startproject douban_top250
cd douban_top250
scrapy genspider movie movie.douban.com

项目结构需要做以下调整：

在items.py中明确定义数据字段
在middlewares.py中添加自定义中间件
在pipelines.py实现数据存储逻辑
在settings.py配置反爬策略

3. 反爬策略深度解析

3.1 豆瓣的反爬机制实测

通过Charles抓包分析，豆瓣目前采用三层防御：

请求频率检测：单个IP连续请求超过20次/分钟会触发验证码
Header完整性检查：缺失Referer或携带非常用UA会被拦截
行为模式识别：固定时间间隔的请求会被识别为机器人

3.2 实战防护方案

在settings.py中配置以下关键参数：

python复制DOWNLOAD_DELAY = 3 + random.random()  # 3-4秒随机间隔
CONCURRENT_REQUESTS = 1
DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml',
    'Referer': 'https://movie.douban.com/top250'
}

# 启用随机UA中间件
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
}

# 代理IP池配置（需自行准备）
PROXY_LIST = [
    'http://proxy1.example.com:8080',
    'http://proxy2.example.com:8080'
]

踩坑提醒：豆瓣会检测Cookie中的bid字段，建议在首次访问时通过Selenium获取有效Cookie，然后移植到Scrapy中。实测显示有效Cookie可使爬虫寿命延长3-5倍。

4. 页面解析与数据提取

4.1 XPath选择器优化

豆瓣Top250的页面结构相对稳定，但解析时仍需注意几个易错点：

python复制def parse(self, response):
    for movie in response.xpath('//div[@class="item"]'):
        yield {
            'rank': movie.xpath('.//em/text()').get(),
            'title_cn': movie.xpath('.//span[@class="title"][1]/text()').get(),
            'title_orig': movie.xpath('.//span[@class="title"][2]/text()').get(default='').strip(' / '),
            'rating': movie.xpath('.//span[@class="rating_num"]/text()').get(),
            # 处理可能不存在的属性
            'quote': movie.xpath('.//span[@class="inq"]/text()').get(default=''),
            'detail_url': movie.xpath('.//div[@class="hd"]/a/@href').get()
        }

特别技巧：

使用.//相对路径避免层级嵌套问题
对可能不存在的字段设置default值
文本处理使用.strip()消除隐藏空白符

4.2 分页处理方案

豆瓣的分页逻辑需要特别注意URL参数：

python复制next_page = response.xpath('//span[@class="next"]/a/@href').get()
if next_page:
    full_url = response.urljoin(next_page)
    yield scrapy.Request(full_url, 
                        callback=self.parse,
                        meta={'proxy': random.choice(PROXY_LIST)})

5. 数据存储与清洗

5.1 数据校验管道

在pipelines.py中添加数据清洗逻辑：

python复制class DoubanCleanPipeline:
    def process_item(self, item, spider):
        # 统一评分格式
        if item['rating']:
            item['rating'] = float(item['rating'])
        
        # 处理外国电影原标题
        if not item['title_orig']:
            item['title_orig'] = item['title_cn']
            
        return item

5.2 多格式存储实现

同时支持JSON和CSV输出：

python复制class MultiFormatPipeline:
    def open_spider(self, spider):
        self.json_file = open('result.json', 'w', encoding='utf-8')
        self.json_file.write('[\n')
        self.first_item = True

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False)
        if self.first_item:
            self.json_file.write(line)
            self.first_item = False
        else:
            self.json_file.write(',\n' + line)
        return item

    def close_spider(self, spider):
        self.json_file.write('\n]')
        self.json_file.close()
        
        # 自动生成CSV
        df = pd.read_json('result.json')
        df.to_csv('result.csv', index=False)

6. 高级技巧与异常处理

6.1 动态渲染应对方案

当发现部分数据无法通过常规请求获取时，可以集成Splash服务：

python复制# settings.py
SPLASH_URL = 'http://localhost:8050'
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashMiddleware': 725,
}

# spider.py
yield SplashRequest(url,
                   args={'wait': 0.5},
                   endpoint='render.html')

6.2 常见异常处理

在middlewares.py中添加重试逻辑：

python复制class RetryMiddleware:
    def process_response(self, request, response, spider):
        if response.status in [403, 503]:
            new_request = request.copy()
            new_request.dont_filter = True
            new_request.meta['proxy'] = get_new_proxy()
            return new_request
        return response

7. 项目部署与优化

7.1 使用Scrapyd远程部署

生产环境推荐使用Scrapyd管理爬虫：

bash复制# 安装服务
pip install scrapyd
scrapyd &

# 部署项目
scrapyd-deploy default -p douban_top250

# 定时执行（需配置cron）
curl http://localhost:6800/schedule.json -d project=douban_top250 -d spider=movie

7.2 性能优化指标

通过扩展实现数据监控：

python复制class StatsExtension:
    def __init__(self, stats):
        self.stats = stats

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.stats)

    def spider_closed(self, spider):
        logging.info(f"总耗时: {self.stats.get_value('elapsed_time')}秒")
        logging.info(f"平均速度: {self.stats.get_value('pages/min')}页/分钟")

我在实际运行中记录的最佳参数组合是：

CONCURRENT_REQUESTS = 2
DOWNLOAD_DELAY = 2.5
使用10个高质量代理IP轮询
启用自动重试3次

这种配置下，完整爬取250条数据平均耗时约18分钟，成功率可达98%以上。如果遇到临时封禁，建议更换IP后等待30分钟再继续。