毕设选“Hadoop+Hive+PySpark”这套大数据技术栈来做小说推荐系统,很多同学第一反应是“这得搭多少环境啊”,第二反应是“推荐算法会不会很难”。实际上我做完一轮下来,最深的感受是:这个题目的难点不在算法原理,而在数据链路的完整性——从爬虫采集、清洗入仓、离线训练,到结果落地和可视化,每一步都有活儿干,而且每一步都能在答辩时讲出东西。哪怕你只把这条链路走通,就已经超过一半的毕设了。
先说说这套系统到底做了什么:用Python爬虫抓取小说站点的书籍信息和用户评论数据,通过HDFS做分布式存储,用Hive做数据清洗和特征提取,再交给PySpark跑ALS协同过滤算法训练推荐模型,最后把推荐结果和统计指标通过一个可视化看板展示出来。整个项目覆盖了“数据采集→数据存储→数据处理→算法建模→结果展示”的全流程,这也是它能同时吸引答辩老师和招聘面试官的原因——它不是一个单点功能,而是一套完整的大数据应用闭环。
这篇文章我会按照实际开发顺序,把每个环节的设计思路、实现细节和踩坑记录都过一遍。你在做的时候不需要完全照搬,但每条经验基本都能对号入座。
1. 项目整体拆解:一个毕设做了四件事
1.1 核心需求与功能模块盘点
小说推荐系统听起来是个推荐算法项目,但拆解下来其实是四条线并行:
- 数据采集线:从小说平台抓取小说基本信息(书名、作者、分类、简介、字数、状态)和用户行为数据(评分、评论、阅读记录)。
- 数据存储线:爬虫产出的结构化数据落到HDFS,再用Hive建立数据仓库表,支撑后续的统计分析和特征提取。
- 数据处理线:PySpark负责清洗、过滤、格式转换,包括去重、缺失值填充、时间戳规范化、用户ID和小说ID的统一编码。
- 推荐与展示线:ALS算法训练用户-小说隐语义模型,输出TopN推荐列表,再配合排行榜、分类统计、评分分布等图表做成可视化看板。
这四个模块相对独立,又可以串成一条完整链路。独立的好处是每一块都能单独拿出来讲,“数据采集用了什么框架”“Hive分区表怎么设计的”“ALS参数怎么调的”,每个点都能展开两三页PPT。串起来的好处是系统完整性一目了然,评委随便问一个环节你都能接住。
1.2 技术栈选型背后的逻辑
很多同学纠结为什么不用Spring Boot加MySQL一把梭,这个质疑在毕业设计答辩中其实经常出现。我的理解是,选题为“XX推荐系统”的毕设,核心考察点其实是“你是不是真的理解了大数据组件各自的位置和边界”。
Hadoop HDFS的定位是分布式文件系统,解决的是“数据量大到单机存不下”的存储问题。在演示环境里你可能只有几万条数据,但架构上要有这个抽象。Hive的定位是把SQL翻译成MapReduce/Spark任务,适合批量离线分析,比如统计每个分类的小说数量、计算用户平均评分这类操作。PySpark则承担了更复杂的清洗逻辑和算法训练,它比写MapReduce Java代码的效率高了一个数量级,这也是现在很多公司实际在用的组合——数据入Hive,计算跑Spark。
再往深一层,这套组合能让你在毕设里同时展示三样东西:会SQL做数据分析、会Python写数据处理脚本、会调参跑推荐算法。这三样单拿出任何一样都不稀奇,但组合在一个项目里,就容易给评委留下“这个学生真的会干活”的印象。
1.3 架构设计的三个关键决策
我在动手之前做了三个关键决策,很大程度上决定了后面的开发节奏。
第一,环境用伪分布式而不是完全分布式。毕设的核心是验证流程,不是搭建生产集群。我就用一台8G内存的虚拟机完成了Hadoop、Hive、Spark的全部部署,三台机器的集群在演示时反而容易因为资源不足出问题。但注意,HDFS的目录设计、Hive的库表设计、Spark的提交参数,仍然要按照分布式集群的标准来配置,这样答辩被问“扩容一台节点要改什么”时你才能答得上。
第二,爬虫数据先落地成JSON文件,再通过HDFS命令批量入库,而不是直接调用Hive API写入。这个决定让爬虫模块和数据仓库模块彻底解耦。爬虫挂了不影响后续流程,数据不满意可以随时重新抓取,重新上传就能覆盖。
第三,推荐算法用ALS协同过滤,不做基于内容的推荐。原因很简单:协作过滤只需要用户-小说评分矩阵,特征工程工作量小,解释起来也直观——“和你口味相似的用户也喜欢这本书”。基于内容的方案需要给每本书构建内容特征向量,爬虫阶段拿到的简介和标签数据量又不足以支撑训练,很容易做成一堆垃圾特征。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 小说爬虫设计:先把数据拿到手再说推荐
2.1 目标站点与字段规划
爬虫的第一步不是写代码,而是确定“要什么字段”。这个决定直接影响后续Hive建表和数据清洗的复杂度。
我当时规划的字段分两类。小说基本信息:小说ID、书名、作者、分类、简介、字数、连载状态、评分、封面图URL。用户行为数据:用户ID、小说ID、评分、评论内容、评论时间。为了缩小爬取范围,我只爬取了固定分类下的Top N本小说(比如玄幻、都市、历史各取200本),再针对每本小说爬取最近的热门评论。这种方式比全站爬取可控得多,既满足了数据量需求,也避免了对目标站点造成太大压力。
这里有一个容易被忽视的坑:小说ID和用户ID必须在全站范围内统一。如果爬A分类时给小说编号1,爬B分类时又遇见
