Python数据分析实战：豆瓣电影数据采集与可视化-代码聚汇网

Python数据分析实战：豆瓣电影数据采集与可视化

Python数据分析豆瓣电影数据采集

|难度：普通|阅读约 17 分钟

1. 项目背景与核心价值

电影数据分析一直是Python数据科学领域的经典练手项目。豆瓣作为国内最具影响力的影视评分平台，其公开数据包含了丰富的维度：评分、评论数、上映年份、类型标签、地区分布等。这些数据经过适当处理，能够揭示出许多有趣的行业洞察。

我选择这个项目作为案例，主要基于三点考虑：

数据获取相对容易（通过公开API或爬虫）
字段丰富度适中，适合教学演示
可视化结果具有直观业务价值

这个项目完整演示了从数据采集到可视化呈现的全流程，特别适合以下人群：

刚学完Python基础想找实战项目的数据分析新手
需要构建数据分析作品集的转行者
对影视行业数据分析感兴趣的从业者

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 数据获取与清洗

2.1 数据来源选择

豆瓣提供了两种主要数据获取方式：

官方API（需申请权限，有调用频率限制）
网页爬取（需遵守robots.txt规则）

对于教学项目，建议使用API方式。以下是获取TOP250电影数据的示例代码：

python复制import requests
import pandas as pd

url = "https://api.douban.com/v2/movie/top250"
params = {
    'start': 0,
    'count': 50
}
headers = {
    'User-Agent': 'Mozilla/5.0'
}

response = requests.get(url, params=params, headers=headers)
data = response.json()

# 转换为DataFrame
movies = pd.DataFrame(data['subjects'])

注意：实际使用时需要处理分页获取完整数据，并添加适当的延时避免被封禁

2.2 数据清洗关键步骤

原始数据通常需要以下处理：

缺失值处理：填充或删除缺失的评分、年份等关键字段
类型转换：将字符串类型的评分转换为数值
字段提取：从嵌套结构中提取导演、主演等信息
异常值处理：识别并处理明显不合理的数据

清洗代码示例：

python复制# 评分转换
movies['rating'] = movies['rating'].apply(lambda x: float(x['average']))

# 年份提取
movies['year'] = movies['year'].str.extract(r'(\d{4})').astype(int)

# 处理缺失值
movies = movies.dropna(subset=['rating', 'year'])

3. 分析维度设计

3.1 基础分析维度

时间维度：
- 各年份电影数量变化
- 评分随时间的变化趋势
类型维度：
- 不同类型电影的数量分布
- 不同类型电影的平均评分对比
地区维度：
- 各地区电影的数量占比
- 各地区电影的平均评分

3.2 高级分析维度

评分与评论数的关系
导演/演员与电影评分的关系
电影时长与评分的关系
类型组合分析（如"科幻+动作"类电影的表现）

4. 可视化实现

4.1 基础可视化

使用Matplotlib+Seaborn组合实现基础图表：

python复制import matplotlib.pyplot as plt
import seaborn as sns

# 设置样式
sns.set_style("whitegrid")

# 年度电影数量分布
plt.figure(figsize=(12,6))
sns.countplot(data=movies, x='year')
plt.title('电影数量年度分布')
plt.xticks(rotation=45)
plt.show()

4.2 交互式可视化

使用Plotly实现更丰富的交互效果：

python复制import plotly.express as px

# 评分与评论数散点图
fig = px.scatter(movies, x='rating', y='reviews_count', 
                 color='types', hover_data=['title'])
fig.show()

4.3 高级可视化技巧

热力图展示类型组合：

python复制# 构建类型共现矩阵
type_matrix = pd.crosstab(movies['id'], movies['types']).T.dot(
    pd.crosstab(movies['id'], movies['types']))

plt.figure(figsize=(10,8))
sns.heatmap(type_matrix, annot=True, fmt='d')
plt.title('电影类型共现热力图')
plt.show()

地理分布地图：

python复制# 需要安装pyecharts
from pyecharts import options as opts
from pyecharts.charts import Geo

# 按地区统计电影数量
region_count = movies['region'].value_counts().reset_index()
region_count.columns = ['region', 'count']

geo = (
    Geo()
    .add_schema(maptype="china")
    .add("电影数量", 
         [list(z) for z in zip(region_count['region'], region_count['count'])],
         type_=ChartType.EFFECT_SCATTER)
    .set_series_opts(label_opts=opts.LabelOpts(is_show=False))
    .set_global_opts(title_opts=opts.TitleOpts(title="中国电影地区分布"))
)
geo.render_notebook()

5. 分析案例实战

5.1 案例一：评分时间趋势分析

通过折线图展示不同年代电影评分变化：

python复制# 按年代分组计算平均分
movies['decade'] = (movies['year']//10)*10
decade_rating = movies.groupby('decade')['rating'].mean().reset_index()

plt.figure(figsize=(10,6))
sns.lineplot(data=decade_rating, x='decade', y='rating', marker='o')
plt.title('各年代电影平均评分变化')
plt.xlabel('年代')
plt.ylabel('平均评分')
plt.grid(True)
plt.show()

5.2 案例二：类型与评分关系

使用箱线图展示不同类型电影的评分分布：

python复制# 展开电影类型（一部电影可能属于多个类型）
exploded = movies.explode('types')

plt.figure(figsize=(12,6))
sns.boxplot(data=exploded, x='types', y='rating')
plt.xticks(rotation=45)
plt.title('不同类型电影评分分布')
plt.show()

5.3 案例三：导演作品分析

分析高产导演的作品表现：

python复制# 提取导演信息并统计作品数量
directors = movies['directors'].explode().value_counts().head(10)

# 筛选这些导演的作品
top_directors = movies[movies['directors'].apply(
    lambda x: any(d in directors.index for d in x))]

# 绘制导演作品评分分布
plt.figure(figsize=(12,6))
sns.boxplot(data=top_directors, 
            x='directors', 
            y='rating')
plt.xticks(rotation=45)
plt.title('高产导演作品评分分布')
plt.show()

6. 项目优化与扩展

6.1 性能优化技巧

数据采集优化：
- 使用异步请求提高爬取效率
- 实现断点续爬功能
- 使用缓存减少重复请求
分析过程优化：
- 使用向量化操作替代循环
- 对大型数据集使用Dask替代Pandas
- 使用Cython加速关键计算

6.2 分析维度扩展

情感分析：
- 对短评进行情感倾向分析
- 分析评分与评论情感的关系
社交网络分析：
- 构建演员合作网络
- 分析导演-演员关系网络
预测模型：
- 基于历史数据预测电影评分
- 构建推荐系统模型

6.3 部署与展示

使用Dash构建交互式仪表盘：

python复制import dash
import dash_core_components as dcc
import dash_html_components as html

app = dash.Dash(__name__)

app.layout = html.Div([
    dcc.Graph(id='rating-trend'),
    dcc.Dropdown(
        id='type-selector',
        options=[{'label': t, 'value': t} 
                for t in movies['types'].unique()],
        multi=True
    )
])

@app.callback(
    Output('rating-trend', 'figure'),
    [Input('type-selector', 'value')]
)
def update_graph(selected_types):
    filtered = movies[movies['types'].isin(selected_types)] if selected_types else movies
    fig = px.line(filtered, x='year', y='rating')
    return fig

app.run_server(debug=True)

使用PyInstaller打包为独立应用：

bash复制pyinstaller --onefile --windowed dashboard.py

7. 常见问题与解决方案

7.1 数据获取问题

API限制：
- 解决方案：使用多个API key轮询
- 备选方案：使用代理IP
反爬机制：
- 添加合理的请求头
- 设置随机请求间隔
- 使用selenium模拟浏览器

7.2 数据分析问题

数据不均衡：
- 某些类型电影样本过少
- 解决方案：合并相似类型或增加数据量
字段含义模糊：
- 如"热度"指标的具体计算方式不明
- 解决方案：通过实验验证或联系平台确认

7.3 可视化问题

图表过于拥挤：
- 解决方案：使用交互式图表或分面绘图
- 示例：sns.FacetGrid实现多子图
颜色区分度不足：
- 解决方案：使用色盲友好调色板
- 示例：sns.color_palette("colorblind")

8. 项目总结与经验分享

在实际操作这个项目时，有几个关键经验值得分享：

数据采集阶段：
- 一定要遵守网站的robots.txt规则
- 为每个请求添加适当的延时（建议2-5秒）
- 及时保存中间结果，防止意外中断
数据分析阶段：
- 先做探索性分析（EDA），了解数据分布
- 对异常值要保持敏感，但不要轻易删除
- 可视化是发现数据规律的有效手段
可视化阶段：
- 选择图表类型要符合数据特点
- 避免过度设计，保持简洁清晰
- 交互式可视化能显著提升用户体验

这个项目的完整代码我放在了GitHub上，包含详细的注释和示例数据。对于想进一步学习的同学，建议尝试以下扩展方向：

增加更多数据维度（如票房数据）
实现自动化数据更新流程
构建预测模型评估新电影潜力