Hadoop 3.x 本地模式部署全攻略：从零跑通MapReduce

接触大数据这么多年，经常会遇到有人问：想学 Hadoop 但一上来就被集群、HDFS、YARN 这些名词劝退，有没有一条更平滑的入门路径？我的回答基本都是同一个——先在本机把 Hadoop 3.x 的本地模式跑起来。

本地模式（Local Mode）是 Hadoop 默认的运行方式，不依赖集群、不需要单独启动 HDFS 和 YARN 进程，解压完改两行配置就能直接跑 MapReduce 程序。最近各类 AI 工具的"本地部署指南"特别火，我朋友圈里几乎人人都在折腾模型推理，其实在数据工程这个圈子里，Hadoop 本地模式也是一份非常值得"部署"的基建设施，尤其适合学生党、转行工程师，以及任何想在真机环境里动手验证大数据逻辑的人。

这篇文章我会从零开始，把 Hadoop 3.x 单机本地模式的全维度部署过程完整拆给你看。内容包括环境准备、JDK 选型、下载解压、配置踩坑、MapReduce 示例全流程、以及我这些年实跑过程中遇到过的问题排查记录。全程基于常见实践和个人经验，照着操作基本不会翻车。

1. 部署前先想清楚：本地模式到底是什么

1.1 Hadoop 三种运行模式的横向对比

Hadoop 有且仅有三种运行模式：本地模式、伪分布式模式、完全分布式模式。很多人会把本地模式和伪分布式搞混，这里先做一个直观对比：

本地模式本质上是让 MapReduce 程序跑在一个单独的 Java 进程里。Mapper 和 Reducer 由 Hadoop 自带的 LocalJobRunner 调度执行，输入输出路径直接指向操作系统本地文件系统，也就是 file:/// 协议。这种模式不需要任何守护进程，因此部署难度最低、启动速度最快、排障最简单。

需要注意的是，本地模式并不是"Hadoop 的降级产品"，而是官方提供的合法且受支持的运行模式。你在本地模式里写的 Mapper、Reducer、Combiner、Partitioner 逻辑，放到伪分布式或完全分布式环境里可以原样复用，因为业务代码层面的 API 完全没有差异。

1.2 本地模式的适用场景与明确边界

本地模式最适合做三件事：

• 学习 Hadoop 编程模型。理解 Map 阶段和 Reduce 阶段的输入输出键值对流转，这是后续理解分布式计算一切概念的基础。
• 调试业务逻辑。团队里写的 MR 作业如果报错，可以先切到本地模式用少量数据跑通逻辑，再提交到集群，定位问题的速度会快很多。
• 验证工具链和环境变量。比如确认 Hadoop 命令行脚本是否可用、环境变量是否配置正确、依赖是否完整。

但本地模式也有明显的边界，主要体现在：

• 无法体验 HDFS 的文件块分布、副本机制、机架感知。因为本地模式根本不启动 HDFS 守护进程。
• 无法体验 YARN 的资源调度、容器隔离、ApplicationMaster 生命周期。因为本地模式没有 NodeManager 和 ResourceManager。
• 无法支撑真正的海量数据。数据量大到超过单机内存，或者需要多节点并行时，本地模式会直接失效。

在部署之前先确认你需要的是哪一种模式。如果你想先搞懂 Hadoop 到底是什么，或者想快速调试一段 MR 代码，本地模式是唯一正解；如果你想完整模拟生产环境，建议本地模式跑通之后，立刻切换到伪分布式。

2. 环境准备与基础检查

2.1 硬件与操作系统要求

Hadoop 3.x 本地模式对硬件极其友好。我测试过的最低配置是 2 核 CPU、4GB 内存、20GB 磁盘，跑 WordCount 和各类小规模示例完全没问题。如果你的电脑有 8GB 内存，那已经非常充裕了。

操作系统方面，Linux 系是最省心的，Ubuntu、CentOS、Debian 都可以。macOS 也是常见选择。Windows 系统相对麻烦，因为 Hadoop 依赖原生的 Unix 工具链和权限模型，官方虽然支持 Windows 但需要额外配置 winutils.exe，我不建议新手在 Windows 上直接折腾本地模式，比较稳妥的做法是装个虚拟机或者直接用云服务器。

如果你用的是 Linux 服务器，建议选择 64 位操作系统，因为 Hadoop 官方 release 包只提供 64 位 Linux 编译版本。32 位系统会遇到 Hadoop native library 警告，虽然不影响本地模式功能，但会干扰排障。

2.2 JDK 选型与版本确认

Hadoop 3.x 对 JDK 的要求非常明确：支持 Java 8 和 Java 11。这里有一个容易踩的坑——Hadoop 3.3 以后的版本尽管可以运行在 JDK 11 上，但官方在很长一段时间内对 JDK 8 的兼容性验证最充分。我自己在生产环境用 JDK 8，本地环境也用 JDK 8，不是保守，而是实打实省了很多莫名其妙的兼容性问题。

安装完 JDK 后，务必确认 JAVA_HOME 环境变量已经正确设置：

bash复制java -version
echo $JAVA_HOME

如果 echo $JAVA_HOME 输出为空，需要手动配置。以 Ubuntu 为例，如果 JDK 安装路径是 /usr/lib/jvm/java-8-openjdk-amd64，可以在 /etc/profile 或 ~/.bashrc 中加入：

bash复制export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

配置完记得执行 source ~/.bashrc 让环境变量生效。这一步看似基础，但几乎 60% 的 Hadoop 启动失败案例都和它有关。

2.3 创建专用系统用户

这是一个我强烈建议你做的事：创建一个非 root 的专用 Hadoop 用户。原因有三个：

• Hadoop 的脚本体系对目录权限敏感，用 root 运行容易在 HDFS 目录写入时出现所有权混乱。
• 后续若要升级到伪分布式模式，NameNode 和 DataNode 要求 SSH localhost 免密，这在 root 用户下配置更麻烦。
• 从安全角度讲，数据服务不应该跑在 root 身份上，这是行业底线。

创建用户的命令很简单：

bash复制sudo useradd -m hadoop
sudo passwd hadoop
sudo usermod -aG sudo hadoop
su - hadoop

后续所有下载、解压、运行操作都在 hadoop 用户下进行。这样即使某个配置文件写错或脚本执行异常，也不会污染系统级环境。

2.4 检查网络与下载工具

本地模式虽然不依赖集群，但下载 Hadoop 安装包需要网络。建议提前确认 wget 或 curl 可用，同时检查磁盘剩余空间，Hadoop 3.x 解压后的目录大小大约在 700MB 左右，加上运行时产生的日志与临时文件，预留 2GB 比较稳妥。

如果你在内网环境无法直接访问外网，也可以预先在能联网的机器下载 tar.gz 包再传输过去。这里多说一句：Hadoop 安装包体积不小，建议下载时校验一下 SHA-512 校验和，官方源码包页面会同时提供校验值，避免下载到损坏或不完整的文件，这个习惯对后续排障帮助很大。

3. 下载、解压与基础配置三步走

3.1 下载 Hadoop 3.x 二进制包

Hadoop 提供了两个下载渠道：Apache 官方镜像站和第三方 CDH/HDP 发行版。本地模式部署用 Apache 官方二进制包最简单，版本选择上建议挑 3.3.x 系列的最新稳定版，例如 3.3.4、3.3.6，这些版本修复了大量已知问题和 CVE。

在浏览器打开 Apache Hadoop 版本列表页，找到形如 hadoop-3.3.6.tar.gz 的二进制包，复制链接后在服务器上下载：

bash复制wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

下载完成后先做校验：

bash复制sha512sum hadoop-3.3.6.tar.gz

将输出的哈希值和 Apache 官方提供的 SHA-512 值比对，一致再继续。这一步虽然多花一分钟，但能避免文件损坏导致的诡异问题。

3.2 解压安装与目录结构识别

把安装包解压到你希望安装的路径，我习惯放在 /opt/hadoop 下：

bash复制sudo tar -xzf hadoop-3.3.6.tar.gz -C /opt
sudo mv /opt/hadoop-3.3.6 /opt/hadoop
sudo chown -R hadoop:hadoop /opt/hadoop

解压完成后，花点时间认识一下 Hadoop 的目录结构，这对后续排查问题帮助极大：

• bin/：Hadoop 所有命令行工具入口，例如 hadoop、hdfs、yarn 脚本。
• sbin/：管理脚本，例如启动/停止 HDFS 和 YARN 守护进程的脚本。
• etc/hadoop/：配置文件目录，core-site.xml、hdfs-site.xml、mapred-site.xml 等都在这里。
• share/hadoop/：包含各模块的 jar 包和内置示例 jar。
• logs/：运行时日志目录，默认在用户主目录下，不在解压目录中。

其中 share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar 是官方自带的示例程序包，里面有 WordCount、PiEstimator、Grep 等经典示例，本地模式验证全靠它，建议记住这个路径。

3.3 设置环境变量与 JAVA_HOME 指向

基础环境变量在 ~/.bashrc 中配置：

bash复制export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

配置完成后重新加载配置文件并验证：

bash复制source ~/.bashrc
echo $HADOOP_HOME

需要注意的是 Hadoop 内部脚本，例如 hadoop、hdfs，都会调用 JAVA_HOME 来定位 Java 运行时。虽然系统 PATH 里可能已经有 java，但如果 JAVA_HOME 没有设置，Hadoop 脚本依然会报错。为了保险，可以在 etc/hadoop/hadoop-env.sh 里显式指定：

bash复制export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

这一步是很多教程容易忽略的关键点，显式写在 hadoop-env.sh 里比只写在 bashrc 中更彻底，因为 Hadoop 脚本启动时不一定会加载用户级的 bashrc。

3.4 验证安装：hadoop version 输出逐行解读

执行以下命令验证基础安装是否成功：

bash复制hadoop version

正常输出看起来像这样：

code复制Hadoop 3.3.6
Source code repository https://github.com/apache/hadoop -r 1be78238779da0fd139d4b4f0e4b0e3d3f6b8a32
Compiled by ubuntu on 2023-07-05T05:13Z
Compiled with protoc 3.7.1
From source with checksum 994230b7cb487e4baf905f4fd4aca292
This command was run using /opt/hadoop/share/hadoop/common/hadoop-common-3.3.6.jar

看到 Hadoop 3.3.6 和 "This command was run using ..." 两行，说明核心脚本和 jar 包都正确加载了。如果这步就报错，基本可以断定问题出在 JAVA_HOME 或 HADOOP_HOME 配置上。

验证完 version，顺便看一下默认配置生效情况：

bash复制hadoop version | grep Hadoop
hdfs getconf -confKey fs.defaultFS

fs.defaultFS 在没有修改任何配置文件之前，输出应该是 file:///，这代表当前就是本地模式，读写路径指向本地文件系统。

4. 跑通第一个本地模式业务：WordCount 实战

4.1 准备本地输入数据

验证部署是否真正可用，最好的方式就是跑一个真实的任务。Hadoop 自带的 WordCount 是 MapReduce 的 Hello World，它统计输入文件中每个单词出现的次数，逻辑简单、易于验证。

在 hadoop 用户主目录下创建数据目录，准备输入文件：

bash复制mkdir -p ~/wordcount/input
cd ~/wordcount/input
echo "hello hadoop hello world" > file1.txt
echo "hello local mode hello hadoop" > file2.txt
cat file1.txt
cat file2.txt

文件准备完成后，输入数据的路径是 /home/hadoop/wordcount/input，这在本地模式里是合法的输入路径。你不需要启动任何进程，Hadoop 会把本地文件当作原始输入读取并交给 Mapper 处理。

4.2 调用示例 jar 运行 WordCount

运行命令如下：

bash复制hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount ~/wordcount/input ~/wordcount/output

这里有个必须注意的规则：输出目录绝对不能提前创建，因为 Hadoop 会默认拒绝一切已存在的输出路径，这是为了防止误覆盖历史数据。如果你不小心创建了同名目录，会直接报 Output directory ... already exists。

运行过程中，终端会打印大量日志。你不需要逐行读完，但需要能辨认几个关键标志：

• INFO mapreduce.Job: Running job: job_localXXXXX_0001 代表任务已经被本地 JobRunner 接受。
• INFO mapreduce.Job: Map 100% Reduce 100% 代表调度完成。
• INFO mapreduce.Job: Job job_localXXXXX_0001 completed successfully 代表任务成功。

看到 completed successfully，任务就结束了。整个过程通常在几十秒内完成。

4.3 观察本地任务执行日志

本地模式的日志非常有特色。由于它不启动 YARN，所有日志都会直接输出到终端，同时也会写入用户主目录下的 logs/userlogs 目录中。

打开另一个终端窗口，进入 logs/userlogs 目录，你会看到以 application_... 命名的子目录，里面包含 syslog 和 stderr 文件。这些文件记录了 Mapper 和 Reducer 的标准输出和错误信息，当你写的 MR 代码里打印了调试内容，这些内容会出现在 syslog 中。

这个日志机制在后续写自定义 MR 代码时价值极大。本地模式下你不需要任何额外配置就能查看每个 task 的内部日志，排错体验接近普通 Java 应用。

4.4 检查输出结果与运行机理

任务成功后，输出目录会有两个文件：

bash复制ls ~/wordcount/output
cat ~/wordcount/output/part-r-00000

正常情况下，你会看到类似下面的统计结果：

code复制hadoop  2
hello   4
local   1
mode    1
world   1

看到这个结果，意味着 Mapper 读取了两行文本、逐单词拆分，Reducer 按单词聚合统计，最终结果落盘成了本地的 part-r-00000 文件。你要能从这个文件里倒推出整个流程：

• InputFormat 读取 file1.txt 和 file2.txt，按行切分成键值对，Key 是字节偏移量，Value 是行文本。
• Mapper 对每一行执行 word tokenizer，输出 <单词, 1> 键值对。
• Shuffle 阶段按 Key 排序、合并、分组。
• Reducer 对每个单词的 value 集合求和，写出 <单词, 总数>。

整个过程没有经过 HDFS，没有经过 YARN，完全在单个 JVM 内完成，这就是本地模式的运行机理。理解这个流程，后续学习 Shuffle、分区、Combiner 时就不会觉得抽象了。

5. 本地模式下 HDFS 与 MapReduce 的边界

5.1 本地模式并没有 NameNode 与 DataNode

我刚部署完本地模式那天，习惯性去执行 hdfs dfs -ls /，结果返回了一大段错误，大概意思是拒绝连接。后来才反应过来，本地模式根本没有启动 HDFS 服务，系统里根本没有 NameNode 和 DataNode 进程。

如果你在本地模式下尝试直接访问 HDFS 路径，例如：

bash复制hdfs dfs -put ~/wordcount/input /input

你会看到：

code复制java.net.ConnectException: Connection refused

不要慌，这不是你部署错了，而是本地模式本来就不提供 HDFS 服务。想要访问 HDFS，要么切换到伪分布式模式启动 HDFS 守护进程，要么去连接一台远程 HDFS 集群。本地模式的所有文件读写，都发生在操作系统的本地路径上，协议前缀是 file:///。

5.2 理解 file:/// 与 hdfs:/// 的实际差异

本地模式默认的 fs.defaultFS 是 file:///，这在 Hadoop 官网文档里写得很清楚。它意味着框架的默认输入输出文件系统是本地磁盘，而不是 HDFS。

这两种协议在实际使用中的差异很直观：

• file:///home/hadoop/input 指向本地磁盘的 /home/hadoop/input 目录，读写速度和普通文件操作一致。
• hdfs://node01:9820/user/hadoop/input 指向 HDFS 集群上保存的文件，读写会经过 DataNode 并触发数据块复制。

如果你在本地模式下显式指定 hdfs:// 路径，任务会尝试连接对应地址的 HDFS 服务，连接失败就会报错。理解这个差异后，再看各种网上教程里 -fs file:/// 或 -fs hdfs:// 启动参数，就不会一头雾水了。

本地模式跑 MapReduce 时，输入输出路径全部要写成普通本地路径，或者保持相对路径让 Hadoop 自动使用当前工作目录。这一点稍不注意，就会因为路径写错而浪费时间。

5.3 本地模式是否可以作为生产环境

直接说结论：不行，至少对正经生产需求来说不行。本地模式最大的特性是没有分布式文件系统和资源调度能力，这两点恰恰是分布式计算的核心价值。你可以在本地模式跑通业务逻辑，但数据量一旦达到 TB 级，单机本地模式会直接撑爆内存和磁盘。

不过，本地模式也不是完全没有生产用途。在一些数据量不大、对时效要求不高、且希望极致简化运维的内部工具场景里，本地模式也可以作为轻量级计算引擎使用。例如公司内部的批量日志统计工具，数据量不超过几十 GB，部署一个本地模式的 Hadoop，用脚本调用 MR 程序，完全可以跑起来。只是这种场景不建议扩展到大规模业务。

6. 常见报错与排查实录

6.1 JAVA_HOME 相关错误

这是新手最常见的错误。当 JAVA_HOME 未设置或设置错误时，运行 hadoop version 会直接失败，错误信息通常是：

code复制Error: JAVA_HOME is not set and could not be found.

排查思路很简单：先确认 java -version 是否有输出，再确认 echo $JAVA_HOME 是否有值，最后去 etc/hadoop/hadoop-env.sh 检查是否显式写入了 JAVA_HOME。如果三个环节都正常，基本不会出现这个错误。

我遇到过一个比较隐蔽的情况：系统里安装了多个 JDK，JAVA_HOME 指向了 JDK 17，而 Hadoop 3.3.6 对 JDK 17 的支持并不完善，导致部分命令报 UnsupportedClassVersionError。直接把 JAVA_HOME 改回 JDK 8 就恢复正常了。

6.2 目录权限不足

当你在执行 hadoop jar 时看到：

code复制Permission denied

大概率是当前用户对输入目录或输出目录的父目录没有写权限。比如输出目录的父目录是 /root/wordcount，而你在 hadoop 用户下运行，就会触发权限错误。

解决方法是对目录做归属调整：

bash复制sudo chown -R hadoop:hadoop /home/hadoop/wordcount

另外，临时目录 java.io.tmpdir 也需要可写权限，如果系统临时目录权限异常，MR 任务会在 shuffle 阶段报错。遇到这种情况，可以在 core-site.xml 里显式指定临时目录：

xml复制<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-tmp</value>
    </property>
</configuration>

同时确保该目录存在且有写权限：

bash复制mkdir -p /home/hadoop/hadoop-tmp
chown -R hadoop:hadoop /home/hadoop/hadoop-tmp

6.3 输出目录已存在导致拒绝执行

运行 hadoop jar 时提示：

code复制Output directory hdfs://localhost:9000/user/hadoop/output already exists

这在本地模式下同样会出现，只不过错误里的协议变成了 file:///。解决办法非常直接：删除旧的输出目录，或者换一个新的输出路径。

bash复制rm -rf ~/wordcount/output

这个机制是 Hadoop 刻意设计的，防止因为重复运行任务而覆盖历史结果。所以每次重新跑任务之前，注意清理旧的输出目录，或者每次用带时间戳的新目录。

6.4 主机名与非法字符问题

如果你在运行时遇到包含 Failed to determine the hostname 或 Invalid hostname 的错误，说明系统主机名配置有问题。Hadoop 内部会通过 InetAddress.getLocalHost().getHostName() 获取主机名，如果 /etc/hostname 里存在非法字符，或者 /etc/hosts 没有正确映射主机名，Hadoop 的 RPC 层就会报错。

排查方法：

bash复制hostname
cat /etc/hosts

确保 /etc/hosts 中有类似下面的一行：

code复制127.0.0.1   localhost
127.0.0.1   your-hostname

并把 /etc/hostname 改成与之一致的简单主机名，不要包含下划线或特殊字符。

6.5 内存不足导致任务失败

本地模式跑大量数据时，可能出现：

code复制java.lang.OutOfMemoryError: Java heap space

原因是 Hadoop 脚本默认会限制 JVM 的最大堆内存。如果机器的物理内存是 4GB，默认的 HADOOP_HEAPSIZE 可能不够。可以通过环境变量调整：

bash复制export HADOOP_HEAPSIZE_MAX=2048
export HADOOP_HEAPSIZE_MIN=512

也可以在 etc/hadoop/hadoop-env.sh 中修改 HADOOP_HEAPSIZE_MAX。这个调整会让 Map 和 Reduce 任务的容器获得更大的堆空间，但要注意不要超过物理内存总量，否则会起反作用。

6.6 常见问题速查表

这张表我踩过其中每一个坑。尤其是主机名那个问题，当年在云服务器上部署时，默认主机名里带了特殊符号，导致任务一直报 RPC 相关的错误，查了半天才发现是 /etc/hosts 的锅。

7. 进阶：本地模式下的开发调试技巧

7.1 直接在 IDE 里运行 MR 程序

本地模式的价值不只在命令行跑内置示例，更在于它能让你在自己的开发环境里直接调试自定义 MR 代码。你在 IntelliJ IDEA 或 Eclipse 里写好 Mapper、Reducer、Driver 类，不需要打成 jar 包，也不需要 Hadoop 集群，直接在 main 方法里设置本地模式后运行：

java复制package com.example.demo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCountLocal {

    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        @Override
        protected void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer
            extends Reducer<Text, IntWritable, Text, IntWritable> {

        private IntWritable result = new IntWritable();

        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "file:///");
        conf.set("mapreduce.framework.name", "local");

        Job job = Job.getInstance(conf, "word count local");
        job.setJarByClass(WordCountLocal.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

在 IDE 里直接运行 main 方法，传入本地路径参数，例如输入 /home/hadoop/wordcount/input、输出 /home/hadoop/wordcount/output-ide，Hadoop 会以本地模式执行整个任务，你还能在断点处查看 Mapper 和 Reducer 的输入输出。这是一种体验极佳的开发调试方式，很多团队在生产 MR 作业之前，都会先用这种本地模式跑用例做单测。

7.2 设置本地模式的组合器与分区器

在本地模式里，你还能验证 Combiner 和 Partitioner 的行为。Combiner 是一个在 map 端执行 mini-reducer，能有效减少 shuffle 的数据量。在 Driver 中加上 job.setCombinerClass(IntSumReducer.class) 后，本地模式运行时 log 会输出 combiner 的调用记录。

Partitioner 则控制相同 Key 落入哪个 Reducer。如果你设置了多个 Reducer，但又想验证自定义分区逻辑，依然可以通过本地模式测试。唯一要注意的是，本地模式即使设置了多个 Reducer，也只会调度在同一个 JVM 内，不会有跨节点网络传输，这会影响你对性能的评估。

7.3 调整日志级别

本地模式运行过程中日志可能极其冗长。想减少噪音，可以通过 log4j 配置调整输出级别。Hadoop 使用 log4j 作为日志框架，日志配置文件位于 etc/hadoop/log4j.properties。如果你只想看警告和错误，可以把默认级别改成 WARN：

properties复制log4j.rootLogger=WARN, console

这个动作对本地模式调试很有效，因为冗长的 INFO 日志会淹没你真正关心的错误信息。建议平时保持 WARN 级别，遇到跑不通的任务再临时切回 INFO 观察细节。

7.4 本地模式向伪分布式过渡

当你把本地模式的逻辑全部验证完成后，向伪分布式过渡非常平滑。简单来说只需三步：

• 修改 core-site.xml，把 fs.defaultFS 改为 hdfs://localhost:9820。
• 修改 hdfs-site.xml，配置 NameNode 和 DataNode 的存储路径。
• 执行 hdfs namenode -format 初始化文件系统，然后启动 HDFS 和 YARN 守护进程。

伪分布式模式下你依然只用一台机器，但能体验到 HDFS 的上传、下载、块复制，以及 YARN 的资源调度。这相当于在本地模式和完全分布式之间提供了一个最佳缓冲带。

我见过不少学习者跳过本地模式直接上伪分布式，遇到配置问题时定位困难，最后不得不全盘重来。其实最好的路径是：本地模式打基础、伪分布式看流程、完全分布式上生产，循序渐进。

8. 我的实操体会

做 Hadoop 部署这么多年，我越来越觉得本地模式是被低估的一个模式。它就像一个"迷你版"的生产环境，虽然少了多节点的壮观景象，但把 MapReduce 最核心的编程模型和任务执行链路完整保留了下来。你能在几分钟内验证脑中的一个想法，能在不依赖集群的情况下运行单测，能看清每一个键值对在 Mapper 和 Reducer 之间的流转。这些体验对理解分布式计算体系至关重要。

最后分享一个小技巧：部署完本地模式后，不要停留在跑通 WordCount。试着用它跑一跑 PiEstimator、Grep、Teragen 这些官方示例，然后自己写一个简单的 Mapper 和 Reducer，处理一份真实的业务数据，比如服务器访问日志、商品订单明细。等你真正把一条业务链路跑通，你会发现 Hadoop 的大门已经向你敞开了一大半。

这个环境装好之后，后续的伪分布式、完全分布式部署其实只是在这个基础上的自然延伸。装 Hadoop 本身不难，难的是对运行机制的理解。把本地模式吃透，你就已经赢在了起跑线上。