Python爬取豆瓣电影数据与可视化分析实战-代码聚汇网

Python爬取豆瓣电影数据与可视化分析实战

賴明宗

1. 项目背景与核心价值

豆瓣电影作为国内最具影响力的影视评分平台，积累了海量真实用户评价数据。这些数据背后隐藏着观众偏好、市场趋势和内容创作规律。传统的人工浏览方式难以发现深层规律，而通过Python进行系统化的数据采集、清洗和分析，可以快速提取以下关键信息：

不同类型电影的评分分布特征
导演/演员作品的市场反响规律
时间维度上的评分变化趋势
用户评论的情感倾向分析

这个项目完整实现了从数据获取到可视化呈现的全流程，特别适合以下场景：

影视行业从业者分析市场偏好
数据科学学习者练手真实项目
产品经理设计影视推荐系统
自媒体作者寻找内容创作角度

提示：本项目需要基础Python语法知识，但所有关键步骤都会详细解释实现逻辑，零基础用户也能跟随操作。

2. 技术架构与工具选型

2.1 整体技术栈设计

项目采用分层架构设计，各组件分工明确：

code复制数据层：豆瓣网页 → Requests爬虫 → MySQL 8.0
业务层：Pandas数据处理 → Numpy数值计算
展示层：Pyecharts可视化 → Flask Web框架

选择这套技术栈主要基于：

Requests：比Scrapy更轻量，适合中小规模数据抓取
Pyecharts：支持交互式图表，比Matplotlib更适合Web展示
Flask：微框架便于快速部署，路由设计直观

2.2 关键工具版本说明

务必注意版本兼容性问题，推荐环境：

python复制Python 3.8.10
Flask 2.0.2
Pyecharts 1.9.1
pandas 1.3.5
mysql-connector-python 8.0.26

安装命令示例：

bash复制pip install flask==2.0.2 pyecharts==1.9.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 数据采集模块实现

3.1 爬虫设计要点

豆瓣有严格的反爬机制，需要特别注意：

请求头伪装：必须包含完整的headers

python复制headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Referer': 'https://movie.douban.com/'
}

访问频率控制：

python复制import random
import time

def random_delay():
    time.sleep(random.uniform(1.5, 3.5))

页面解析技巧：

使用lxml替代BeautifulSoup提升解析速度
对class名变化做好容错处理

3.2 数据存储设计

MySQL表结构设计示例：

sql复制CREATE TABLE movies (
    id INT PRIMARY KEY AUTO_INCREMENT,
    title VARCHAR(100) NOT NULL,
    rating DECIMAL(2,1),
    directors VARCHAR(100),
    casts VARCHAR(200),
    year INT,
    genres VARCHAR(50),
    votes INT,
    duration VARCHAR(20),
    region VARCHAR(50)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

注意：豆瓣电影TOP250共250条数据，普通账号每小时最多请求50次，建议分5次采集并做好断点续传。

4. 数据分析与可视化

4.1 数据清洗关键步骤

常见问题处理方案：

缺失值：用同类型电影中位数填充

python复制df['rating'] = df.groupby('genres')['rating'].transform(
    lambda x: x.fillna(x.median()))

异常值：3σ原则处理

python复制mean = df['votes'].mean()
std = df['votes'].std()
df = df[~(df['votes'] > mean + 3*std)]

4.2 核心可视化图表

4.2.1 评分分布雷达图

python复制from pyecharts import options as opts
from pyecharts.charts import Radar

radar = (
    Radar()
    .add_schema(
        schema=[
            opts.RadarIndicatorItem(name="剧情", max_=5),
            opts.RadarIndicatorItem(name="喜剧", max_=5),
            # ...其他类型
        ]
    )
    .add("平均评分", [data_values])
    .set_global_opts(title_opts=opts.TitleOpts(title="类型评分雷达图"))
)

4.2.2 导演作品气泡图

python复制from pyecharts.charts import Scatter

scatter = (
    Scatter()
    .add_xaxis(director_list)
    .add_yaxis(
        "作品评分",
        [avg_rating],
        symbol_size=[v/1000 for v in votes_list],
        label_opts=opts.LabelOpts(is_show=False),
    )
    .set_global_opts(
        xaxis_opts=opts.AxisOpts(name="导演"),
        yaxis_opts=opts.AxisOpts(name="平均评分"),
    )
)

5. Flask Web应用部署

5.1 项目目录结构

code复制├── app.py                 # 主入口
├── static                 # 静态资源
│   ├── css
│   └── images
├── templates              # 模板文件
│   └── index.html
├── spider                 # 爬虫模块
│   ├── douban_spider.py
│   └── data_processor.py
└── requirements.txt       # 依赖文件

5.2 核心路由设计

python复制from flask import Flask, render_template
from db_operator import get_movie_data

app = Flask(__name__)

@app.route('/')
def index():
    movies = get_movie_data(limit=50)
    return render_template('index.html', movies=movies)

@app.route('/analysis/<type>')
def analysis(type):
    # 不同类型返回对应分析结果
    if type == 'director':
        data = director_analysis()
    elif type == 'genre':
        data = genre_analysis()
    return jsonify(data)

5.3 生产环境部署

推荐使用Nginx+Gunicorn方案：

bash复制# 安装gunicorn
pip install gunicorn

# 启动命令
gunicorn -w 4 -b 0.0.0.0:8000 app:app

Nginx配置关键部分：

nginx复制location / {
    proxy_pass http://127.0.0.1:8000;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
}

6. 常见问题解决方案

6.1 反爬应对策略

当遇到403错误时，可以尝试：

更换User-Agent列表
使用代理IP池（需自行搭建）
模拟登录获取cookies

6.2 可视化图表空白问题

检查以下环节：

前端是否正确引入echarts.js
Flask路由是否返回了正确的JSON格式
数据中是否存在NaN值

6.3 数据库连接异常

典型错误处理：

python复制import mysql.connector
from mysql.connector import errorcode

try:
    cnx = mysql.connector.connect(
        user='root',
        password='your_pwd',
        host='127.0.0.1',
        database='douban'
    )
except mysql.connector.Error as err:
    if err.errno == errorcode.ER_ACCESS_DENIED_ERROR:
        print("账号密码错误")
    elif err.errno == errorcode.ER_BAD_DB_ERROR:
        print("数据库不存在")
    else:
        print(err)

7. 项目优化方向

增量更新机制：

python复制# 记录最后更新时间
last_update = session.query(func.max(Movie.update_time)).scalar()

异步数据加载：
前端使用AJAX请求分页数据
用户行为分析：
增加点击热力图统计
推荐系统集成：
基于内容的协同过滤算法

我在实际部署中发现，Pyecharts在渲染大量数据点时性能会下降，这时可以：

使用数据采样（resample）
开启WebGL加速
对静态图表预渲染为图片

对于教学演示版本，建议先限制数据量在100条以内确保流畅性。完整数据展示时可以增加加载动画提升用户体验。