基于LSTM与Hadoop的美食推荐系统架构解析

1. 项目概述：当大数据遇上美食推荐

这个毕业设计项目瞄准了餐饮行业的核心痛点——如何从海量用户评论中挖掘出有价值的消费洞察。美团大众点评平台每天产生数百万条评论数据，传统方法根本无法有效处理这种PB级别的非结构化文本。我们构建的分布式系统整合了PySpark、Hadoop、Hive和LSTM四大技术栈，实现了从数据采集、存储到智能分析的完整闭环。

关键突破点：首次将LSTM时序建模能力与Hadoop生态的分布式计算优势结合，在千万级真实评论数据上实现了88.7%的评分预测准确率。

系统最核心的价值在于：不仅能预测用户对未消费餐厅的评分，还能基于用户历史行为生成个性化推荐列表。比如当用户搜索"海淀区 川菜"时，系统会优先展示与其口味偏好匹配度最高的前5家餐厅，并显示预测评分和推荐理由（如"您常给'麻辣鲜香'类评价高分，本店招牌水煮鱼获得92%类似用户好评"）。

2. 技术架构解析

2.1 四层分布式架构设计

系统采用典型Lambda架构，兼顾批处理和实时计算需求：

code复制数据层：HDFS 3.2.1 + Hive 3.1.2
   ├─ 原始数据存储：ORC列式存储（压缩比达5:1）
   └─ 数据仓库：按dt/city/cuisine三级分区

计算层：Hadoop 3.3.1 + PySpark 3.2.0
   ├─ 批处理：每日凌晨跑T+1特征工程
   └─ 实时计算：Flume+Kafka实时摄入新评论

模型层：TensorFlow 2.8 + LSTM
   ├─ 基础模型：双层LSTM（128/64单元）
   └─ 优化方案：引入Attention机制

应用层：Flask + ECharts
   ├─ 推荐API响应时间<200ms
   └─ 可视化支持热力图、词云等多维展示

2.2 关键技术选型依据

选择PySpark而非纯Python实现的核心考量：

• 单机处理500万条评论需6小时，PySpark分布式方案仅需8分钟
• MLlib提供的TF-IDF、Word2Vec等算法经过工业级优化
• 原生支持与Hive metastore集成，避免数据搬迁

LSTM模型结构的特殊设计：

python复制model = Sequential([
    Embedding(v