最近整理了一套之前给学员做的课设项目,就是标题里写的这个基于 Python + Django 的去哪儿网数据爬取与分析系统。这个项目核心倒不复杂:用 Python 爬虫把去哪儿网的航班、酒店基础数据抓下来,清洗之后存进 MySQL,再用 Django 搭一个 Web 页面,把数据列表、统计图表都展示出来,附带一份完整的课程设计文档和测试数据。整个项目涉及 Python 爬虫、Django Web 开发、MySQL 数据库设计、ECharts 可视化,非常适合做 Python 课程设计、毕业设计,或者刚学完 Django 想练一个完整项目的读者拿来参考。
我为什么专门挑这个项目来说,因为它几乎把 Python 学习路上几个大块都串起来了:爬虫、数据处理、关系型数据库、Web 后端、前端展示。你单独学 Django 的 ORM 也好,单独学 requests 爬虫也好,都是零散的,真正能把它们串成一个跑起来的系统,才能说对这几块有实际手感。这篇就把我从抓包到入库、再到页面展示的完整过程,以及中间踩过的坑,一次性写清楚。
1. 项目整体设计与思路拆解
1.1 需求拆解:这个系统到底要做什么
先说结论,这个项目不是一个“大而全”的生产级系统,而是典型的课程设计粒度。它要解决的问题是:你有一个数据源(去哪儿网),想积累一批真实数据,然后用一个 Web 系统把这些数据展示出来,并且能做简单的统计分析。
所以我第一件事就是把需求拆成三个独立模块:
- 数据采集模块:定时或手动触发,从去哪儿网抓取航班、酒店信息,解析出结构化字段。
- 数据存储模块:用 MySQL 保存所有采集结果,设计合理的表结构,避免重复数据堆积。
- Web 展示模块:基于 Django 提供列表查询、关键字筛选、统计图表页面。
这三个模块之间是松耦合的。我特意把爬虫和 Django 分开,而不是在 Django 的 view 里直接写爬虫逻辑。原因是爬虫这种耗时操作放在请求线程里非常危险,页面会卡死,而且爬虫失败时不应该影响系统运行。实际开发中,爬虫先跑完,数据落入数据库,Django 只负责查库展示,这样两边出问题都好排查,调试效率也高。
1.2 为什么选 Python + Django + 去哪儿网这个组合
这个组合是我反复权衡过才定下来的,不是随便拿市面上现成框架硬凑。先说抓取端,Python 生态里 requests 库写爬虫可以说是零门槛,比 Java 的 HttpClient 舒服太多,加上 lxml、BeautifulSoup 这些解析库,半个小时就能把基础爬虫跑通。去哪儿网页面结构里,机票和酒店数据是以 JSON 接口形式返回的,这让解析难度比直接解析 HTML 低了一个档次,只需要用 json 模块就能把字段取出来。
再聊 Django,选它的核心原因是“自带全套”。它自带 ORM,不用手写 SQL 就能完成数据库增删改查;自带 Admin 后台,数据管理页面几乎是白送的;自带模板系统,配合 Bootstrap 和 ECharts 就能做出一套不错的界面。对于一个课程设计,Django 可以少写二三百行重复代码。
至于数据库选择 MySQL,是因为它在国内用得最多,也是“数据库课程设计”这个环节里点名率最高的数据库软件。MySQL 的数据导入导出、可视化工具(Navicat、DBeaver 等)都很成熟,最后交付时你直接把 sql 文件丢给老师,他就能在本地还原。如果你的环境装不上 MySQL,用 SQLite 也能完整跑通这个项目,Django 切换数据库的成本极低,改一下 settings 即可。
1.3 系统架构与项目目录规划
系统整体流程是单向数据流:爬虫程序采集数据 -> 清洗字段 -> 写入 MySQL -> Django ORM 读取 -> 视图层渲染页面 -> 前端图表展示。我最终项目的目录结构是这样规划的:
code复制travel_spider/
├── manage.py
├── spiders/
│ ├── qunar_spider.py # 爬虫核心代码
│ └── data_clean.py # 数据清洗工具
├── travel_web/ # Django 项目配置
├── analysis/ # Django app:列表与统计展示
├── templates/
│ ├── base.html
│ ├── flight_list.html
│ └── dashboard.html
├── static/
│ ├── css/
│ └── js/
├── db.sqlite3 或 MySQL 数据
└── requirements.txt
这样设计有个好处:爬虫和 Web 是完全独立的两个入口,你在命令行执行 python spiders/qunar_spider.py 就能采集数据,而 python manage.py runserver 启动的是 Web 系统。后续如果要加定时任务,只需要用 crontab 或系统计划任务定期执行爬虫脚本即可,完全不用动 Web 端代码。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心细节解析与实操要点
2.1 抓包分析:定位去哪儿网的 JSON 数据接口
这个系统能不能跑起来,最关键的环节不是写代码,而是抓包分析。我第一次做的时候直接去解析搜索页面的 HTML,结果发现页面源码里几乎没有航班数据,全是从接口异步加载的,白折腾了一整天。后来老老实实打开浏览器开发者工具,切换到 Network 面板,重新发起一次机票搜索,过滤 XHR 请求,就能看到返回 JSON 的真实接口。
这种接口的典型特征是在请求参数中携带出发地、目的地、日期、乘客人数等信息,返回数据体量不大,但结构层级嵌套很深。我这里以航班搜索为例,简化说明:
python复制import requests
import json
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Referer": "https://flight.qunar.com/",
"Accept": "application/json",
}
params = {
"searchType": "0",
"depCity": "北京",
