1. 项目背景与核心价值
高考志愿填报是每个考生面临的关键决策,直接影响未来四年的学习轨迹和职业发展。传统填报方式主要依赖人工经验判断,存在几个典型痛点:信息碎片化(院校数据分散在各平台)、决策依据单一(仅参考往年分数线)、匹配精度低(忽视考生个性化需求)。我在实际调研中发现,超过60%的考生在填报后存在"志愿匹配度不高"的遗憾。
这个项目通过构建大数据驱动的智能推荐系统,实现了三个突破性改进:
- 数据整合:将分散的院校信息、历年录取数据、专业详情等结构化存储
- 智能匹配:结合考生分数位次、兴趣偏好、地域倾向等多维度特征
- 风险预警:通过历史数据分析预测"滑档"概率,提供"冲稳保"梯度建议
关键创新点:系统首次将Spark的实时计算能力应用于志愿推荐场景,在考生修改偏好时能200ms内更新推荐列表,相比传统系统5秒以上的响应速度有质的提升。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术架构设计解析
2.1 整体架构设计
系统采用典型的三层大数据架构:
code复制数据层(HDFS+Hive) → 计算层(Spark) → 应用层(Django+Vue)
每层的关键设计考量如下:
数据层
- HDFS:存储非结构化的原始数据(如院校官网HTML、PDF招生简章)
- Hive:管理结构化数据表,主要包含:
sql复制采用分区表设计,将不同省份数据物理隔离,查询效率提升约40%CREATE TABLE admission_scores ( year INT, school_id STRING, major_id STRING, min_score INT, avg_score FLOAT ) PARTITIONED BY (province STRING);
计算层
- Spark批处理:每日凌晨执行的核心任务包括:
- 院校热度计算(基于前日搜索量)
- 录取概率模型训练
- 专业关联规则挖掘
- Spark Streaming:实时处理考生行为数据:
python复制
kafkaStream = KafkaUtils.createDirectStream(...)
