基于Python的电影推荐系统：从数据采集到可视化

1. 项目概述：当电影数据遇上机器学习

最近在整理自己的技术项目集时，翻出了这个基于豆瓣电影数据的分析系统。这个项目完美融合了Python生态中的多个实用技术栈——从数据采集、清洗分析到可视化展示，形成了一个完整的闭环。特别适合想要学习如何将机器学习应用于实际业务场景的朋友，也常被用作大数据方向的毕业设计选题。

系统核心功能包括：通过爬虫获取豆瓣电影结构化数据、使用Pandas进行多维度的统计分析、基于Scikit-learn构建推荐模型，最后通过Flask框架实现交互式可视化展示。整个流程覆盖了数据科学项目的典型生命周期，对培养工程化思维很有帮助。

提示：项目代码量约2000行，建议具备Python基础语法和HTTP协议知识。所有数据采集严格遵守豆瓣Robots协议，设置合理请求间隔。

2. 技术架构设计解析

2.1 整体技术栈选型

系统采用经典的三层架构：

• 数据层：Requests+BeautifulSoup实现爬虫，MySQL存储结构化数据
• 分析层：Pandas进行数据预处理，Scikit-learn构建推荐模型
• 展示层：Flask作为Web框架，ECharts实现动态可视化

选择Flask而非Django的考虑：

1. 项目以API和可视化为主，不需要Django的全套Admin功能
2. Flask更轻量，与Jupyter Notebook配合更顺畅
3. 可视化路由配置更灵活，便于实现动态图表渲染

2.2 关键组件版本

python复制# requirements.txt核心依赖
flask==2.0.2
pandas==1.3.4
requests==2.26.0
scikit-learn==0.24.2
echarts==1.0.0

3. 数据采集与处理实战

3.1 豆瓣爬虫实现要点

采用分页爬取策略，核心代码如下：

python复制def get_movie_list(start=0):
    headers = {'User-Agent': 'Mozilla/5.0'}
    url = f"https://movie.douban.com/top250?start={start}"
    try:
        res = requests.get(url, headers=headers, timeout=10)
        res.raise_for_status()
        soup = BeautifulSoup(res.text, 'html.parser')
        return parse_items(soup)  # 解析电影条目
    except Exception as e:
        print(f"抓取失败: {e}")
        return []

重要注意事项：

1. 必须设置User-Agent模拟浏览器访问
2. 添加try-catch处理网络异常
3. 单次请求后sleep 3-5秒避免被封禁
4. 只采集公开可见数据，不获取用户隐私信息

3.2 数据清洗关键步骤

原始数据需要经过：

1. 缺失值处理：对缺失的评分用同类型电影均值填充
2. 异常值过滤：剔除评论人数少于1000的低热度电影
3. 特征工程：
   • 将"剧情/科幻"这样的类型字符串拆分为多列
   • 把上映年份转换为时间戳格式
   • 对导演/演员进行one-hot编码

python复制# 类型特征处理示例
genres = df['类型'].str.get_dummies(sep='/')
df = pd.concat([df, genres], axis=1)

4. 数据分析与建模

4.1 多维统计视角

通过Pandas可以快速生成多种洞察：

• 各年份电影数量分布
• 类型与评分的关联性
• 导演作品平均评分排名
• 演员参演电影热度趋势

python复制# 导演评分TOP10分析
director_rating = df.groupby('导演')['评分'].agg(['mean','count'])
director_rating[director_rating['count']>3].sort_values('mean', ascending=False)[:10]

4.2 推荐系统实现

采用基于内容的推荐算法：

1. 使用TF-IDF向量化电影简介文本
2. 计算类型特征的余弦相似度
3. 综合评分权重生成推荐列表

python复制from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer(stop_words='english')
overview_matrix = tfidf.fit_transform(df['简介'])

5. 可视化展示实现

5.1 Flask框架配置

核心路由设计：

python复制@app.route('/')
def dashboard():
    return render_template('index.html')

@app.route('/api/movie/<int:mid>')
def get_movie_detail(mid):
    data = query_movie_by_id(mid)
    return jsonify(data)

5.2 ECharts动态图表

前端通过AJAX获取数据后初始化图表：

javascript复制function initTypeChart() {
    $.get('/api/type_stats', function(data){
        const chart = echarts.init(document.getElementById('type-chart'));
        chart.setOption({
            series: [{
                type: 'pie',
                data: data.map(item => {
                    return {value: item.count, name: item.type}
                })
            }]
        });
    });
}

6. 部署与优化经验

6.1 性能优化技巧

1. 使用Flask-Caching缓存高频查询结果
2. 对MySQL添加复合索引（类型+评分）
3. 静态资源使用CDN加速
4. 启用Gzip压缩传输数据

6.2 常见问题排查

1. 爬虫被封禁：检查请求频率，添加随机延迟
2. 图表加载慢：减少初始数据量，采用分页加载
3. 推荐不准：调整特征权重，加入用户历史行为
4. 内存泄漏：监控Pandas大数据操作，及时释放DataFrame

7. 项目扩展方向

在实际使用中，可以考虑：

1. 增加用户登录系统收集个性化偏好
2. 结合影评数据做情感分析
3. 使用Docker容器化部署
4. 接入实时票房数据流

这个项目最让我惊喜的是，简单的技术组合就能产生丰富的业务洞察。比如通过分析发现，科幻类电影在夏季上映的评分普遍高于其他季节，这个结论后来被我用在了自己的视频创作选题策划上。