Windows系统下Spark 3.5环境搭建与配置指南-代码聚汇网

Windows系统下Spark 3.5环境搭建与配置指南

invalid s·2026-08-10·阅读 23 GEO检测（免费）

Spark安装Windows配置大数据开发

|难度：普通|阅读约 12 分钟

1. 为什么要在Windows上安装Spark环境？

对于刚接触大数据处理的学生和开发者来说，在Windows系统上搭建Spark环境是最低成本的入门方式。虽然生产环境通常使用Linux集群，但本地Windows环境能快速验证代码逻辑和进行小规模数据处理实验。2026年最新版的Spark 3.5+对Windows支持已经相当完善，解决了早期版本常见的路径和权限问题。

注意：Spark运行依赖Java环境，建议使用JDK 17而非最新版本，这是目前与Spark兼容性最稳定的Java LTS版本。实测JDK 20+可能导致Spark Shell启动异常。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与前置条件

2.1 硬件与系统要求

操作系统：Windows 10/11 64位（版本1903以上）
内存：最低8GB（处理小数据集），推荐16GB+
磁盘空间：至少10GB可用空间
处理器：支持AVX指令集的Intel/AMD芯片（可通过任务管理器→性能选项卡查看）

2.2 必须安装的组件清单

Java Development Kit：Oracle JDK 17或OpenJDK 17
Hadoop winutils：2.7.1版本（即使不安装完整Hadoop也需要此组件）
Spark发行版：预编译版本spark-3.5.0-bin-hadoop3.tgz
Python（可选）：3.8+版本用于PySpark
环境变量配置工具：推荐使用RapidEE这类可视化工具管理变量

3. 分步安装指南

3.1 JDK安装与验证

从Oracle官网下载jdk-17_windows-x64_bin.exe安装包：

bash复制# 验证安装成功的命令
java -version
javac -version

典型问题排查：

若提示"不是内部命令"，需检查环境变量PATH是否包含JDK的bin路径（如C:\Program Files\Java\jdk-17.0.2\bin）
多版本JDK共存时，使用where java命令查看实际调用的java.exe路径

3.2 Hadoop winutils配置

即使不安装完整Hadoop，Spark也需要winutils.exe处理Windows文件系统：

下载hadoop-2.7.1.tar.gz并解压
将bin目录下的winutils.exe复制到C:\hadoop\bin

设置环境变量：

bat复制set HADOOP_HOME=C:\hadoop
set PATH=%PATH%;%HADOOP_HOME%\bin

执行权限修复（防止Spark作业报错）：

bat复制winutils.exe chmod -R 777 C:\tmp\hive

3.3 Spark安装与核心配置

解压spark-3.5.0-bin-hadoop3.tgz到C:\spark

关键环境变量设置：

bat复制set SPARK_HOME=C:\spark
set PATH=%PATH%;%SPARK_HOME%\bin

修改spark-defaults.conf：

properties复制spark.master            local[*]
spark.eventLog.enabled  true
spark.eventLog.dir      file:///C:/spark-logs
spark.hadoop.fs.file.impl   org.apache.hadoop.fs.LocalFileSystem

创建必要的日志目录：

bat复制mkdir C:\spark-logs
winutils.exe chmod 777 C:\spark-logs

4. 验证安装与排错指南

4.1 基础功能测试

启动Spark Shell进行验证：

bat复制spark-shell

成功标志：看到Scala交互提示符和Spark UI地址（通常为http://localhost:4040）

4.2 常见错误解决方案

问题1：启动时报"Unable to load native-hadoop library"

解决方案：将hadoop.dll从Hadoop包复制到C:\Windows\System32

问题2：PySpark无法导入模块

根本原因：Python路径未正确设置

修复步骤：

bat复制set PYSPARK_PYTHON=python
set PYSPARK_DRIVER_PYTHON=python

问题3：Spark UI端口冲突

快速解决：修改默认端口

scala复制spark-shell --conf spark.ui.port=4041

4.3 性能优化配置

在spark-defaults.conf中添加：

properties复制spark.driver.memory              4g
spark.executor.memory            4g 
spark.sql.shuffle.partitions     200
spark.default.parallelism        200
spark.serializer                 org.apache.spark.serializer.KryoSerializer

5. 开发环境集成建议

5.1 IDE配置（IntelliJ IDEA）

安装Scala插件

新建SBT项目，添加依赖：

scala复制libraryDependencies += "org.apache.spark" %% "spark-core" % "3.5.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.5.0"

配置运行参数：

text复制VM options: -Dspark.master=local[*]
Environment variables: SPARK_HOME=C:\spark

5.2 Jupyter Notebook集成

安装findspark包：
```
bash复制pip install findspark
```

示例启动代码：

python复制import findspark
findspark.init('C:/spark')
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

6. 实际项目应用示例

6.1 本地CSV文件分析

scala复制val df = spark.read
  .option("header", "true")
  .csv("C:/data/sales.csv")
  
df.createOrReplaceTempView("sales")
spark.sql("SELECT region, SUM(amount) FROM sales GROUP BY region").show()

6.2 连接远程Hive数据仓库

需额外配置：

将hive-site.xml放入spark/conf目录

添加依赖：

xml复制<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-hive_2.12</artifactId>
  <version>3.5.0</version>
</dependency>

初始化代码：

scala复制val spark = SparkSession.builder()
  .appName("Hive Example")
  .config("spark.sql.warehouse.dir", "hdfs://namenode:8020/user/hive/warehouse")
  .enableHiveSupport()
  .getOrCreate()

7. 维护与升级策略

7.1 版本升级注意事项

先备份spark-defaults.conf和logs目录
测试新旧版本Python/Scala API兼容性
更新PATH环境变量指向新版本路径

7.2 日常维护技巧

定期清理spark-events日志：
```
bat复制del /Q C:\spark-logs\*.*
```

监控资源使用：

bat复制tasklist /FI "IMAGENAME eq java.exe"

快速重置环境：

bat复制set SPARK_HOME=
set PATH=%PATH:C:\spark\bin;=%

我在实际教学环境中发现，Windows防火墙经常阻断Spark UI端口访问。建议在首次使用时运行：

bat复制netsh advfirewall firewall add rule name="Spark UI" dir=in action=allow protocol=TCP localport=4040-4045