豆瓣电影评论爬虫实战：从基础到进阶技巧-代码聚汇网

豆瓣电影评论爬虫实战：从基础到进阶技巧

Python爬虫豆瓣电影Requests

|难度：普通|阅读约 18 分钟

1. 为什么选择豆瓣电影评论作为爬虫练习目标

豆瓣电影作为国内最具影响力的影视评分平台，拥有海量真实用户生成的评论数据。这些数据具有几个独特价值：首先，评论内容覆盖从专业影评到普通观众感受的全光谱，文本类型丰富；其次，评分系统包含1-5星的量化指标，便于后续情感分析；最重要的是，页面结构清晰但又有适度的反爬机制，非常适合作为中级爬虫练习场。

我最初选择这个项目时，主要看中它的"梯度难度"特性。基础页面如电影详情页的HTML结构规整，适合新手练习XPath或CSS选择器；而登录后才能查看的完整评论，又涉及Cookie维持和动态请求，能锻炼更高级的技巧。这种循序渐进的特点，让学习者能在一个项目中体验爬虫技术的完整成长路径。

提示：虽然豆瓣对非商业用途的爬取相对宽容，但仍建议控制请求频率（每秒不超过1次），并在User-Agent中声明你的爬虫用途。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与工具选型

2.1 Python环境配置

推荐使用Python 3.8+版本，这个区间既有良好的库兼容性，又能用到最新的语言特性。通过以下命令可以快速检查环境：

bash复制python --version
pip list | grep requests

如果尚未安装Python，建议从官网下载安装包时勾选"Add Python to PATH"选项。我遇到过很多初学者因为漏掉这一步，导致后续各种模块导入失败的问题。

2.2 核心库的选择

对于这个项目，我们需要以下关键库：

python复制import requests       # 网络请求
from bs4 import BeautifulSoup # HTML解析
import pandas as pd   # 数据存储
import time           # 请求间隔控制
import random         # 随机延时

为什么选择Requests而不是urllib？主要因为：

Requests的API设计更人性化（比如会话保持只需一个Session对象）
自动处理编码转换（豆瓣使用UTF-8，但有些页面头信息可能缺失）
更完善的异常处理机制

BeautifulSoup4相比PyQuery等其他解析库的优势在于：

对破损HTML的容错能力更强
支持多种解析引擎（推荐使用lxml）
更符合Pythonic的链式调用风格

3. 页面结构分析与爬取策略

3.1 目标页面解剖

以《肖申克的救赎》评论页为例，URL结构为：

code复制https://movie.douban.com/subject/1292052/comments?start=0&limit=20&status=P&sort=new_score

关键参数解析：

start: 分页起始位置（每页20条）
status: P表示已看过，F表示想看
sort: 排序方式（new_score按最新评分）

通过浏览器开发者工具（F12）检查元素，会发现评论内容包裹在<div class="comment-item">中，用户名在<span class="comment-info">下的a标签，评分藏在<span class="allstar50 rating" title="力荐"></span>的class里。

3.2 反爬机制应对方案

豆瓣主要有三类反爬措施：

请求频率限制：解决方案是加入随机延时

python复制time.sleep(random.uniform(0.5, 1.5))

Cookie验证：需要模拟完整登录流程

python复制session = requests.Session()
login_data = {
    'name': 'your_username',
    'password': 'your_password',
    'remember': 'on'
}
session.post('https://accounts.douban.com/login', data=login_data)

User-Agent检测：需要轮换常见浏览器的UA

python复制headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

4. 完整爬虫实现步骤

4.1 基础信息爬取

首先实现单页评论提取函数：

python复制def parse_comment_page(html):
    soup = BeautifulSoup(html, 'lxml')
    comments = []
    for item in soup.select('.comment-item'):
        try:
            user = item.select_one('.comment-info a').text.strip()
            rating = item.select_one('.rating')['class'][0][7:] or '无'
            date = item.select_one('.comment-time').text.strip()
            content = item.select_one('.comment-content').text.strip()
            comments.append([user, rating, date, content])
        except Exception as e:
            print(f"解析出错：{e}")
            continue
    return comments

4.2 分页爬取控制

实现自动翻页的核心逻辑：

python复制def crawl_douban_comments(movie_id, max_pages=10):
    base_url = f"https://movie.douban.com/subject/{movie_id}/comments"
    all_comments = []
    
    with requests.Session() as s:
        s.headers.update({'User-Agent': 'Mozilla/5.0'})
        
        for page in range(max_pages):
            try:
                url = f"{base_url}?start={page*20}"
                resp = s.get(url)
                resp.raise_for_status()
                
                if '检测到异常请求' in resp.text:
                    raise Exception("触发反爬机制")
                
                all_comments.extend(parse_comment_page(resp.text))
                time.sleep(random.uniform(1, 2))
                
            except Exception as e:
                print(f"第{page+1}页抓取失败：{e}")
                break
                
    return pd.DataFrame(all_comments, columns=['用户', '评分', '日期', '内容'])

4.3 数据存储优化

建议使用CSV分块存储而非一次性写入：

python复制def save_to_csv(df, filename):
    # 首次写入带表头
    if not os.path.exists(filename):
        df.to_csv(filename, index=False, encoding='utf_8_sig')
    else:
        # 追加写入不带表头
        df.to_csv(filename, mode='a', header=False, index=False, encoding='utf_8_sig')

5. 实战中的进阶技巧

5.1 IP代理池的搭建

当需要大规模爬取时，建议使用代理IP。以下是简易代理中间件实现：

python复制class ProxyMiddleware:
    def __init__(self):
        self.proxy_list = [
            'http://ip1:port',
            'http://ip2:port',
            # 自行补充可用代理
        ]
    
    def get_proxy(self):
        return random.choice(self.proxy_list)

# 在请求中使用
proxy = ProxyMiddleware().get_proxy()
proxies = {'http': proxy, 'https': proxy}
resp = requests.get(url, proxies=proxies)

5.2 验证码识别方案

遇到验证码时，可以：

使用第三方打码平台（需付费）
本地OCR识别（准确率约70%）
人工干预缓存机制

推荐方案3的实现逻辑：

python复制captcha_cache = {}

def handle_captcha(image_url):
    if image_url in captcha_cache:
        return captcha_cache[image_url]
    
    # 显示验证码图片
    img_data = requests.get(image_url).content
    with open('captcha.jpg', 'wb') as f:
        f.write(img_data)
    os.system('start captcha.jpg')
    
    # 人工输入
    code = input("请输入验证码：")
    captcha_cache[image_url] = code
    return code

6. 数据分析的典型应用

6.1 评分分布可视化

使用pandas和matplotlib进行基础分析：

python复制import matplotlib.pyplot as plt

def analyze_ratings(df):
    # 转换评分格式
    rating_map = {'30':'3星', '20':'2星', '10':'1星', '50':'5星', '40':'4星'}
    df['星级'] = df['评分'].map(rating_map).fillna('无评分')
    
    # 绘制饼图
    rating_counts = df['星级'].value_counts()
    plt.figure(figsize=(8,6))
    rating_counts.plot.pie(autopct='%1.1f%%')
    plt.title('豆瓣电影评分分布')
    plt.show()

6.2 评论词云生成

使用jieba和wordcloud库：

python复制from wordcloud import WordCloud
import jieba

def generate_wordcloud(texts):
    # 中文分词
    word_list = [" ".join(jieba.cut(text)) for text in texts]
    all_text = " ".join(word_list)
    
    # 生成词云
    wc = WordCloud(
        font_path='simhei.ttf',
        background_color='white',
        max_words=200
    ).generate(all_text)
    
    plt.imshow(wc)
    plt.axis("off")
    plt.show()

7. 项目扩展方向

7.1 情感分析实践

使用SnowNLP进行简单的情感值计算：

python复制from snownlp import SnowNLP

def sentiment_analysis(text):
    s = SnowNLP(text)
    return s.sentiments  # 返回0-1之间的情感值

# 应用到DataFrame
df['情感值'] = df['内容'].apply(sentiment_analysis)

7.2 构建自动化监控系统

可以扩展为定时爬取+邮件报警系统：

python复制import smtplib
from email.mime.text import MIMEText

def send_alert(subject, content):
    msg = MIMEText(content)
    msg['Subject'] = subject
    msg['From'] = 'your_email@example.com'
    msg['To'] = 'receiver@example.com'
    
    with smtplib.SMTP('smtp.example.com') as server:
        server.login('user', 'password')
        server.send_message(msg)

# 在爬虫异常时调用
try:
    crawl_douban_comments()
except Exception as e:
    send_alert('爬虫异常报警', str(e))

8. 法律与伦理注意事项

虽然技术本身中立，但爬虫使用必须注意：

严格遵守豆瓣的robots.txt规定
不爬取用户隐私信息（如联系方式）
控制请求频率，避免影响正常服务
数据仅用于学习研究，不进行商业用途
在明显位置声明数据来源

建议在代码中添加伦理声明：

python复制"""
本爬虫仅用于Python学习与技术交流
• 数据来源：豆瓣电影(https://movie.douban.com)
• 遵守协议：User-Agent声明学习用途
• 请求间隔：≥1秒/次
• 数据用途：非商业学术研究
"""

在项目开发过程中，我最大的体会是：一个健壮的爬虫系统，技术实现只占30%，剩下的70%是异常处理、伦理考量和对目标网站的尊重。每次看到有人因为暴力爬取导致IP被封，都让我更加重视编写"礼貌"的爬虫代码。