别再手动配环境变量了！用Docker Desktop在Mac上5分钟搞定Hadoop+Spark伪集群

每次看到同事在Mac上折腾Hadoop环境配置，从JDK安装到SSH免密登录，再到十几个XML文件的修改，最后卡在端口冲突或权限问题上——这种场景实在太熟悉了。作为经历过三次Hadoop大版本升级的老兵，我决定分享一个更优雅的解决方案：用Docker容器化技术，把原本需要半天的手动配置压缩到5分钟。

1. 为什么选择Docker方案

传统安装方式就像手动组装电脑：需要逐个安装CPU、内存、硬盘并连接线缆。而Docker方案如同购买品牌整机，开箱即用。具体差异体现在：

去年在为团队搭建培训环境时，我用Docker在一小时内完成了20台Mac的Hadoop+Spark环境部署，而传统方式至少需要两天。更重要的是，当学员不小心搞坏环境时，重启容器就能立即恢复。

2. 准备工作：Docker环境优化

在Mac上使用Docker Desktop需要注意几个关键配置：

bash复制# 检查Docker版本（需要20.10.0以上）
docker --version
docker-compose --version

提示：建议为Docker分配至少4GB内存（Hadoop+Spark最小需求），在Docker Desktop的Preferences → Resources中设置

如果之前安装过Hadoop，建议彻底清理旧环境：

bash复制# 删除残留的Hadoop进程
pkill -f hadoop
pkill -f spark

# 删除环境变量配置
sed -i '' '/HADOOP_HOME/d' ~/.zshrc
sed -i '' '/SPARK_HOME/d' ~/.zshrc

3. 容器化部署实战

我们使用Bitnami提供的Hadoop镜像，它已经预配置好所有环境变量和组件依赖。创建docker-compose.yml文件：

yaml复制version: '3.7'

services:
  namenode:
    image: bitnami/hadoop:3.3
    container_name: namenode
    hostname: namenode
    ports:
      - "9870:9870"  # HDFS Web UI
      - "9000:9000"  # HDFS服务端口
    volumes:
      - hadoop_namenode:/bitnami/hadoop/namenode
    environment:
      - HADOOP_ENABLE_YARN=true
      - HADOOP_ENABLE_HDFS=true
    networks:
      - hadoop-net

  datanode:
    image: bitnami/hadoop:3.3
    container_name: datanode
    hostname: datanode
    depends_on:
      - namenode
    volumes:
      - hadoop_datanode:/bitnami/hadoop/datanode
    environment:
      - HADOOP_ENABLE_YARN=true
      - HADOOP_ENABLE_HDFS=true
      - HADOOP_NAMENODE_HOST=namenode
    networks:
      - hadoop-net

  spark:
    image: bitnami/spark:3.3
    container_name: spark
    hostname: spark
    depends_on:
      - namenode
    ports:
      - "8080:8080"  # Spark Web UI
    environment:
      - SPARK_MODE=master
      - HADOOP_NAMENODE_HOST=namenode
    networks:
      - hadoop-net

volumes:
  hadoop_namenode:
  hadoop_datanode:

networks:
  hadoop-net:
    driver: bridge

启动集群只需一条命令：

bash复制docker-compose up -d

等待约2分钟后，可以通过以下地址访问各组件：

• HDFS管理界面：http://localhost:9870
• YARN资源管理：http://localhost:8088
• Spark管理界面：http://localhost:4040

4. 常见问题解决方案

问题1：端口冲突导致容器启动失败

bash复制# 查看端口占用情况
lsof -i :9000

# 解决方案：修改docker-compose.yml中的端口映射
ports:
  - "19000:9000"  # 将外部端口改为19000

问题2：Mac磁盘空间不足

bash复制# 查看Docker磁盘使用
docker system df

# 清理无用镜像和容器
docker system prune -a

问题3：Spark无法连接HDFS
在Spark容器中执行：

bash复制# 测试HDFS连通性
hadoop fs -ls hdfs://namenode:9000/

# 若失败，检查core-site.xml配置
cat /opt/bitnami/hadoop/etc/hadoop/core-site.xml

注意：首次运行WordCount示例时，需要先格式化HDFS（仅在第一次运行时需要）：

bash复制docker exec namenode hdfs namenode -format
docker-compose restart namenode

5. 进阶技巧：自定义镜像与数据持久化

如果需要特定版本的组件，可以基于官方镜像构建自定义Dockerfile：

dockerfile复制FROM bitnami/hadoop:3.3

# 安装Python3和pandas
RUN install_packages python3-pip \
    && pip3 install pandas==1.5.0

# 修改Hadoop配置
COPY custom-core-site.xml /opt/bitnami/hadoop/etc/hadoop/core-site.xml

要实现数据持久化，可以将HDFS目录挂载到本地：

yaml复制volumes:
  - ~/hadoop_data/namenode:/bitnami/hadoop/namenode
  - ~/hadoop_data/datanode:/bitnami/hadoop/datanode

对于需要频繁交互的场景，建议使用VS Code的Remote-Containers插件直接进入容器开发：

json复制// .devcontainer/devcontainer.json
{
  "name": "Hadoop Spark Dev",
  "dockerComposeFile": "../docker-compose.yml",
  "service": "spark",
  "workspaceFolder": "/workspace",
  "extensions": [
    "ms-python.python"
  ]
}

6. 性能调优与监控

在docker-compose.yml中限制资源使用：

yaml复制deploy:
  resources:
    limits:
      cpus: '2'
      memory: 4G

启用Prometheus监控：

yaml复制environment:
  - HADOOP_METRICS_ENABLED=true
  - HADOOP_METRICS_DOMAIN=namenode

使用jconsole连接监控：

bash复制jconsole localhost:9010

对于开发环境，可以关闭不必要的服务节省资源：

yaml复制environment:
  - HADOOP_ENABLE_MAPREDUCE=false
  - HADOOP_ENABLE_HIVE=false