Hadoop机架感知原理与生产环境配置实战

1. 为什么需要机架感知？

在大规模Hadoop集群中，数据节点（DataNode）通常分布在不同的物理机架上。如果没有机架感知能力，NameNode在分配数据块副本时可能会将所有副本都放在同一个机架内。这种情况下一旦该机架发生断电或网络故障，所有副本都将不可用——完全违背了HDFS多副本设计的容错初衷。

我在管理一个跨5个机架、200个节点的生产集群时，就曾遇到过因未正确配置机架感知导致的故障。某个机架的交换机故障后，该机架上30%的数据块暂时变为"单副本"状态，迫使集群进入紧急维护模式。这个教训让我深刻理解了机架感知不是可选项，而是生产环境必配项。

2. 机架感知核心原理剖析

2.1 拓扑映射机制

Hadoop通过一个可插拔的脚本（通常命名为topology.sh）获取节点到机架的映射关系。这个脚本的输入是DataNode的IP或主机名，输出是对应的机架路径，格式如：

code复制/默认机架/机架A

脚本实现逻辑通常是通过CMDB查询或根据IP段规则计算。例如192.168.1.100可能映射到/rack1，而192.168.2.100映射到/rack2。

2.2 副本放置策略

Hadoop默认的三副本策略遵循以下规则：

1. 第一个副本放在写入请求发起的客户端所在节点（如果客户端是集群外节点，则随机选择）
2. 第二个副本放在与第一个副本不同机架的随机节点
3. 第三个副本放在与第二个副本同机架的不同节点

这种"2-1"分布（两个不同机架各放一个副本，第三个与第二个同机架）实现了机架级容错与网络带宽消耗的平衡。当整个机架故障时，至少还有一个完整副本在其它机架可用。

3. 生产环境配置实战

3.1 拓扑脚本配置

在core-site.xml中添加：

xml复制<property>
  <name>net.topology.script.file.name</name>
  <value>/etc/hadoop/conf/topology.sh</value>
</property>

一个基于IP段划分的topology.sh示例：

bash复制#!/bin/bash
IP=$(echo $1 | awk -F'.' '{print $3}')
if [ $IP -ge 1 ]