Python+Django影片数据爬取与数据分析系统实战

项目标题: "基于python的影片数据爬取与数据分析_django+spider"
项目正文: 本项目以Python为核心语言，集成爬虫（spider）与Django框架，完成影片数据的自动采集、存储、清洗、展示与多维数据分析，完整覆盖从数据获取到数据落地的全链路流程。
关键词: python,数据爬取,数据分析,django,spider
摘要描述: 使用Python与Django搭建影片数据爬取与分析系统，实现数据的采集、入库、平台展示与可视化分析。

做电影数据分析这件事，我琢磨了很久。市面上有不少现成的榜单、影评网站，但数据都散落在不同平台，想按自己的维度做统计——比如某类影片的票房分布、评分趋势、不同年份的题材变化——根本找不到一个现成的数据集。既然找不到，那就自己动手。用 Python 写爬虫去采集，用 Django 做数据落地和展示，最后用 pandas 配合可视化库做分析。这套流程跑通之后，你手里就有了一个可以随时扩展的影片数据底座，后续想加数据源、加分析维度，都只是在这个框架上做增量。

这篇文章就把我实现“影片数据爬取与数据分析（Django + Spider）”这套系统的完整过程写出来，包括架构怎么拆、爬虫怎么写、反爬怎么破、数据怎么进 Django、分析怎么做，以及我在实际开发中踩过的那些坑。项目代码整体基于 Python 3.10，后端用 Django 4.x，爬虫用 requests + BeautifulSoup，数据清洗用 pandas，可视化用 ECharts 做前端图表输出。

1. 项目整体设计与思路拆解

1.1 为什么选择 Django + Spider 这套组合

很多做数据分析的人习惯用 Jupyter Notebook 一把梭，从爬数到出图全在一个 notebook 里完成。这种方式做探索性分析（EDA）没问题，但一旦涉及数据持续更新、多人使用、定时任务调度，就撑不住了。我选 Django 的核心原因有两个：第一，Django 自带 ORM 和 Admin 后台，数据模型定义好之后，可以直接在后台管理数据，不用额外写管理界面；第二，Django 的 MTV 架构天然适合把分析结果变成可视化页面，爬虫入库的数据通过 View 查询出来，模板渲染成图表，一条链路是通的。

爬虫部分我用的是 requests + BeautifulSoup，没有上 Scrapy。原因是这个项目的数据源相对固定，采集量级在几千到几万条，单机单线程跑完也就几十分钟，Scrapy 的异步并发优势在这里不明显，反而增加了框架学习成本。但如果你的数据源是几百个网站、每天上百万条更新，那 Scrapy 的中间件、管道、调度器会让你省心很多，这个需要根据实际场景权衡。

补一句我对“Django + Spider”这个组合的理解：Django 在这个项目里不只是“展示层”，它本身就是数据中台。爬虫负责把外部数据变成结构化记录，Django 的 Model 负责定义字段和约束，Migration 负责表结构的演进，QuerySet 负责分析查询——数据从进来到出去，全程都在一个技术栈内，不用在多个工具之间倒腾数据格式，这是我觉得这个组合最顺滑的地方。

1.2 数据模型设计：先想清楚要分析什么

在写任何爬虫代码之前，我建议先把数据模型定下来。我的习惯是反推：先列出最终想输出的分析图表，再倒推需要哪些字段。比如我想分析“不同类型影片的票房对比”，那至少需要影片名称、类型、票房；我想分析“年度评分趋势”，需要年份、评分。

我最终设计的表结构如下：

python复制# movies/models.py
from django.db import models

class Movie(models.Model):
    title = models.CharField(max_length=255, verbose_name='影片名称')
    year = models.IntegerField(verbose_name='上映年份', null=True, blank=True)
    genres = models.CharField(max_length=255, verbose_name='类型', null=True, blank=True)
    rating = models.FloatField(verbose_name='豆瓣评分', null=True, blank=True)
    votes = models.IntegerField(verbose_name='评分人数', null=True, blank=True)
    box_office = models.FloatField(verbose_name='票房(万元)', null=True, blank=True)
    director = models.CharField(max_length=255, verbose_name='导演', null=True, blank=True)
    actors = models.TextField(verbose_name='主演', null=True, blank=True)
    source_url = models.URLField(verbose_name='来源URL', unique=True)
    created_at = models.DateTimeField(auto_now_add=True, verbose_name='采集时间')

    class Meta:
        db_table = 'movie_info'
        indexes = [
            models.Index(fields=['year']),
            models.Index(fields=['genres']),
            models.Index(fields=['rating']),
        ]

    def __str__(self):
        return self.title

这里有几个设计细节值得说。source_url 加 unique=True 约束，是为了防止爬虫重