PySpark实战：从数据合并到学生成绩分析的完整作业解析

1. PySpark入门：环境搭建与基础操作

第一次接触PySpark时，我被它强大的分布式计算能力震撼到了。记得当时为了跑通第一个Demo，折腾了整整一个周末。现在回头看，其实只要掌握几个关键点，就能快速上手。

PySpark的核心是SparkContext对象，它是所有操作的入口点。创建时需要注意两个参数：local表示本地模式运行，适合学习和测试；如果是生产环境，通常会配置为集群模式。我建议新手先用本地模式练习，避免一开始就陷入复杂的集群配置问题。

python复制from pyspark import SparkContext
sc = SparkContext('local','my_first_app')

创建完SparkContext后，最基本的操作就是读取数据。PySpark支持多种数据源，从本地文件到HDFS都很方便。这里有个小技巧：读取本地文件时，路径前要加file://前缀，否则Spark会默认去HDFS上找文件。

python复制# 读取本地文件
data = sc.textFile("file:///path/to/local/file.txt")
# 读取HDFS文件
data = sc.textFile("hdfs://path/to/hdfs/file.txt")

2. 数据合并与去重实战

在实际项目中，经常需要合并多个数据源。比如我最近处理的一个学生成绩项目，就需要合并三个班级的成绩表。PySpark的union()操作非常高效，但要注意几个坑：

首先，合并前最好确认各文件的编码格式一致。我曾经遇到过因为编码不同导致的中文乱码问题，调试了很久才发现。其次，合并大文件时，记得监控内存使用情况，可以适当调整分区数来优化性能。

python复制# 加载多个文件
file1 = sc.textFile("file:///data/class1.txt")
file2 = sc.textFile("file:///data/class2.txt")
file3 = sc.textFile("file:///data/class3.txt")

# 合并文件
merged_data = file1.union(file2).union(file3)

# 去重并排序
distinct_data = merged_data.distinct()
sorted_data = distinct_data.sortBy(lambda x:x)

# 保存结果
sorted_data.saveAsTextFile("file:///output/merged_result")

去重操作distinct()会洗牌(shuffle)数据，这是比较耗时的操作。如果数据量很大，可以考虑先采样估算去重后的数据量，再决定是否真的需要全量去重。

3. 学生成绩分析进阶技巧

学生成绩分析是PySpark的经典应用场景。通过这个案例，可以掌握很多实用的数据处理技巧。

3.1 平均分计算

计算平均分时，常见的做法是先按学生分组，然后对成绩求平均。这里有个性能优化点：使用groupByKey()时要小心，因为它会把所有相同key的值都加载到内存中。如果某个学生的课程特别多，可能会导致内存溢出。更安全的做法是使用reduceByKey()或aggregateByKey()。

python复制# 读取成绩数据
scores = sc.textFile("file:///data/scores.txt")

# 转换为(学生,成绩)键值对
student_score = scores.map(lambda line: (line.split()[0], float(line.split()[1])))

# 计算平均分 - 安全写法
avg_scores = student_score.aggregateByKey(
    (0.0, 0),  # 初始值(总分,计数)
    lambda acc, value: (acc[0] + value, acc[1] + 1),  # 分区内聚合
    lambda acc1, acc2: (acc1[0] + acc2[0], acc1[1] + acc2[1])  # 分区间合并
).mapValues(lambda x: round(x[0]/x[1], 2))

# 按平均分降序排序
sorted_avg = avg_scores.sortBy(lambda x: x[1], ascending=False)

3.2 课程统计与分析

除了学生成绩，课程分析也很有价值。比如统计每门课的选修人数和平均分，可以帮助教师了解课程难度。

python复制# 转换为(课程,(成绩,1))格式
course_stats = scores.map(lambda line: (
    line.split(",")[1], 
    (float(line.split(",")[2]), 1)
))

# 计算每门课的总分和人数
temp = course_stats.reduceByKey(lambda x, y: (x[0]+y[0], x[1]+y[1]))

# 计算平均分并保留1位小数
course_avg = temp.mapValues(lambda x: round(x[0]/x[1], 1))

这种先映射再归约的模式(MapReduce)是Spark的核心思想，掌握了它就能处理大多数分析任务。

4. 高级特性：累加器与广播变量

当分析需求变得更复杂时，PySpark提供了一些高级特性来优化性能。

4.1 使用累加器计数

累加器(Accumulator)是一种特殊的变量，可以在不同节点上安全地累加值。比如统计选修某门课程的学生人数：

python复制from pyspark import SparkContext
sc = SparkContext("local", "CourseCounter")

# 创建累加器
db_counter = sc.accumulator(0)

# 定义累加函数
def count_db(line):
    global db_counter
    if line.split(",")[1] == "DataBase":
        db_counter += 1

# 应用累加器
lines = sc.textFile("file:///data/scores.txt")
lines.foreach(count_db)

print(f"选修DataBase课程的学生人数: {db_counter.value}")

4.2 广播变量优化查询

广播变量(Broadcast Variables)允许在每个节点缓存一个只读变量，避免重复传输。比如我们要查询学生所在院系：

python复制# 假设有一个院系对照表
dept_map = {"Tom":"CS", "Jim":"EE", "Alice":"Math"}

# 广播这个字典
broadcast_dept = sc.broadcast(dept_map)

# 使用广播变量查询
students = sc.textFile("file:///data/students.txt")
student_with_dept = students.map(lambda x: (
    x, 
    broadcast_dept.value.get(x.split(",")[0], "Unknown")
))

广播变量特别适合处理维度表关联的场景，能显著减少网络传输开销。

5. 性能调优与常见问题

经过多个项目的实践，我总结了一些PySpark性能调优的经验：

1. 合理设置分区数：分区太少会导致并行度不足，太多则会产生过多小任务。一般建议每个CPU核心处理2-4个分区。

2. 避免数据倾斜：某些key的数据量远大于其他key时，会导致部分任务执行缓慢。可以通过加盐(salting)或两阶段聚合来解决。

3. 缓存常用数据集：对需要多次使用的RDD或DataFrame调用cache()或persist()，避免重复计算。

python复制# 缓存频繁使用的RDD
processed_data = raw_data.map(...).filter(...).cache()

# 使用缓存数据
result1 = processed_data.reduceByKey(...)
result2 = processed_data.groupByKey(...)

4. 监控执行计划：通过toDebugString()查看RDD的血缘关系，或使用Spark UI监控作业执行情况。

遇到问题时，不要急着改代码。先检查数据是否加载正确，再逐步缩小问题范围。PySpark的错误信息有时比较晦涩，但通常都能在Stack Overflow找到解决方案。