基于PySpark和LSTM的商家评分预测系统设计与实现

1. 项目概述与核心价值

美团和大众点评这类本地生活服务平台每天产生海量用户评论数据，这些数据蕴含着用户消费偏好、商家服务质量以及市场趋势的宝贵信息。作为一名长期从事大数据分析的技术人员，我经常遇到这样的困境：传统分析方法要么只能做简单的统计报表，要么需要投入大量人力进行人工标注，既无法捕捉评论中的情感倾向，也难以预测评分的时序变化规律。

这个毕业设计项目正是为了解决这些痛点而生。我们构建了一个基于PySpark+Hadoop+Hive+LSTM的完整分析系统，能够自动化处理PB级别的评论数据，并实现商家评分的精准预测。在实际测试中，我们的模型对未来7天评分的预测误差控制在8%以内，相比传统时间序列分析方法提升了近40%的准确率。

这个系统的独特价值在于：

1. 全栈技术整合：从底层数据存储到上层预测模型，完整覆盖大数据处理全流程
2. 时序情感分析：不仅分析评论内容的情感倾向，还捕捉评分随时间变化的规律
3. 生产级架构：采用分布式计算框架，可直接部署到企业生产环境
4. 可视化交互：提供直观的数据看板，帮助运营人员快速掌握商家表现

2. 系统架构设计解析

2.1 整体技术栈选型

我们的系统采用分层架构设计，各层技术选型基于以下考量：

数据存储层：

• Hadoop HDFS：选择原因是其原生支持海量数据分布式存储，且与后续处理工具天然兼容。我们按/data/商家ID/年/月/的目录结构组织数据，便于后续分区查询
• Hive：作为数据仓库工具，其SQL接口降低了数据处理门槛。我们特别优化了表的分区策略（按商家ID和日期双重分区），使查询效率提升3倍

数据处理层：

• PySpark：相比纯Java/Scala的Spark API，PySpark更适合数据科学场景，能直接调用Python生态的NLP工具。我们使用Spark 3.2+版本，利用其自适应查询执行(AQE)特性自动优化任务

模型层：

• LSTM神经网络：传统RNN存在梯度消失问题，而LSTM的门控机制特别适合处理评论数据中的长期依赖关系。我们测试了不同单元数(64/128/256)后发现128单元在效果和效率上达到最佳平衡

应用层：

• Flask+ECharts：轻量级组合，Flask的简洁性适合快速构建API，ECharts则提供了丰富的可视化选项。我们特别封装了地图热力图组件，直观展示不同商圈的用户满意度

2.2 数据流设计

系统数据处理流程分为离线批处理和实时处理两条路径：

离线批处理流程：

code复制原始评论 → HDFS存储 → Spark清洗 → Hive特征工程 → 训练数据生成 → 模型训练

实时处理流程（可选）：

code复制Kafka新评论 → Spark Streaming → 特征更新 → 模型预测 → Redis缓存结果

在实际部署中，我们建议历史数据走离线流程保证处理质量，近7天数据走实时流程确保时效性。这种混合架构在测试中实现了95%的请求响应时间<2秒。

3. 核心实现细节

3.1 数据预处理实战

3.1.1 异常数据过滤

评论数据中常见以下异常情况：

• 刷单产生的重复评论（同一用户短时间内多次评价）
• 极端评分（如1分或5分占比异常）
• 无意义文本（如"..."、"111"等）

我们的清洗策略：

python复制from pyspark.sql.functions import col, countDistinct

# 去重处理：同一用户对同一商家30天内只保留最新评价
windowSpec