Hadoop完全分布式集群搭建与配置详解

1. Hadoop完全分布式环境搭建指南

作为一名大数据工程师，我经常需要搭建Hadoop集群环境。今天我将分享一个从零开始的Hadoop完全分布式搭建过程，适合刚接触Hadoop的新手学习参考。这个方案基于三台虚拟机节点，使用CentOS 7系统，涵盖了从环境准备到集群启动的全流程。

提示：在开始前，请确保你的电脑至少有16GB内存和100GB可用磁盘空间，因为我们需要同时运行三台虚拟机。

2. 环境准备与基础配置

2.1 硬件与软件需求

搭建Hadoop集群前，我们需要准备以下环境：

• VMware Workstation Pro 17：用于创建和管理虚拟机
• CentOS 7镜像：推荐使用Minimal ISO版本
• FinalShell：SSH客户端工具，也可用XShell替代
• JDK 8u202：Hadoop 3.2.4官方推荐的Java版本
• Hadoop 3.2.4：当前稳定的Hadoop版本

2.2 模板虚拟机配置

2.2.1 初始虚拟机设置

首先创建一台模板虚拟机，配置如下：

• 主机名：node1
• IP地址：192.168.10.100
• 内存：4GB
• 硬盘：40GB
• 网络适配器：NAT模式

bash复制# 查看网络接口配置
nmcli device show ens33

2.2.2 网络配置调整

1. 修改VMware虚拟网络编辑器：

   • 将子网IP设置为192.168.10.0/24
   • 确保NAT设置中的网关为192.168.10.2

2. 配置主机VMnet8适配器：

   • IP地址：192.168.10.1
   • 子网掩码：255.255.255.0
   • 默认网关：192.168.10.2
   • DNS：8.8.8.8和114.114.114.114

3. 配置CentOS静态IP：

bash复制vi /etc/sysconfig/network-scripts/ifcfg-ens33

# 修改以下参数
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.10.100
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
DNS1=8.8.8.8
DNS2=114.114.114.114

配置完成后测试网络连通性：

bash复制ping www.baidu.com

2.2.3 系统基础配置

1. 修改主机名：

bash复制vi /etc/hostname
# 修改为node1

2. 配置hosts文件：

bash复制vi /etc/hosts
# 添加以下内容
192.168.10.100 node1
192.168.10.101 node2 
192.168.10.102 node3

3. 创建专用用户：

bash复制useradd hduser
passwd hduser
# 设置密码为123456

# 赋予sudo权限
visudo
# 在root ALL=(ALL) ALL下添加
hduser ALL=(ALL) NOPASSWD:ALL

4. 创建Hadoop目录结构：

bash复制mkdir -p /opt/{module,software}
chown -R hduser:hduser /opt/{module,software}

3. 软件安装与配置

3.1 JDK安装

1. 卸载系统自带JDK：

bash复制rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

2. 安装JDK 8：

bash复制tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/module/

3. 配置环境变量：

bash复制vi /etc/profile.d/my_env.sh

# 添加以下内容
export JAVA_HOME=/opt/module/jdk1.8.0_202
export PATH=$PATH:$JAVA_HOME/bin

# 使配置生效
source /etc/profile

验证安装：

bash复制java -version

3.2 Hadoop安装

1. 解压Hadoop：

bash复制tar -zxvf hadoop-3.2.4.tar.gz -C /opt/module/

2. 配置Hadoop环境变量：

bash复制vi /etc/profile.d/my_env.sh

# 添加以下内容
export HADOOP_HOME=/opt/module/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 验证Hadoop安装：

bash复制hadoop version

4. 集群节点准备

4.1 克隆虚拟机

1. 关闭node1虚拟机
2. 使用VMware的完整克隆功能创建node2和node3
3. 分别启动三台虚拟机并修改配置：

node2配置：

bash复制vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改IPADDR=192.168.10.101

vi /etc/hostname
# 修改为node2

node3配置：

bash复制vi /etc/sysconfig/network-scripts/ifcfg-ens33  
# 修改IPADDR=192.168.10.102

vi /etc/hostname
# 修改为node3

4.2 配置SSH免密登录

1. 生成密钥对：

bash复制ssh-keygen -t rsa
# 连续三次回车

2. 分发公钥：

bash复制ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

3. 测试免密登录：

bash复制ssh node2
exit

4.3 同步配置文件

1. 创建分发脚本：

bash复制vi ~/bin/xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in node1 node2 node3
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

# 赋予执行权限
chmod +x ~/bin/xsync

2. 分发JDK和Hadoop：

bash复制xsync /opt/module/jdk1.8.0_202
xsync /opt/module/hadoop-3.2.4
xsync /etc/profile.d/my_env.sh

3. 在各节点使环境变量生效：

bash复制source /etc/profile

5. Hadoop集群配置

5.1 核心配置文件

1. core-site.xml：

xml复制vi $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
    <!-- 指定NameNode地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    
    <!-- 指定Hadoop数据存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.2.4/data</value>
    </property>
    
    <!-- HDFS网页登录用户 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hduser</value>
    </property>
</configuration>

2. hdfs-site.xml：

xml复制vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
    <!-- NameNode Web UI地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node1:9870</value>
    </property>
    
    <!-- SecondaryNameNode Web UI地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node3:9868</value>
    </property>
</configuration>

3. yarn-site.xml：

xml复制vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node2</value>
    </property>
    
    <!-- 环境变量继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

4. mapred-site.xml：

xml复制vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
    <!-- 指定MR运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5. workers文件：

bash复制vi $HADOOP_HOME/etc/hadoop/workers

node1
node2
node3

5.2 配置文件分发

使用xsync脚本将配置同步到所有节点：

bash复制xsync $HADOOP_HOME/etc/hadoop/

6. 集群启动与验证

6.1 首次启动流程

1. 格式化NameNode：

bash复制hdfs namenode -format

重要提示：格式化NameNode会生成新的集群ID，导致NameNode和DataNode的集群ID不一致。如果集群运行中需要重新格式化，必须先停止所有服务并删除data和logs目录。

2. 启动HDFS：

bash复制start-dfs.sh

3. 启动YARN：

bash复制# 在node2上执行
start-yarn.sh

6.2 集群验证

1. 检查进程：

bash复制jps

# node1应有：
# NameNode
# DataNode

# node2应有：
# ResourceManager
# NodeManager
# DataNode

# node3应有：
# SecondaryNameNode
# NodeManager
# DataNode

2. Web UI访问：

• HDFS NameNode: http://node1:9870
• YARN ResourceManager: http://node2:8088

3. 创建测试目录：

bash复制hdfs dfs -mkdir /test
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /test
hdfs dfs -ls /test

7. 常见问题与解决方案

7.1 网络连接问题

问题现象：节点间无法ping通或SSH连接失败

解决方案：

1. 检查各节点防火墙状态：

bash复制systemctl stop firewalld
systemctl disable firewalld

2. 验证/etc/hosts配置是否一致
3. 检查VMware网络适配器设置

7.2 Hadoop启动失败

问题现象：某些服务无法启动或报错

解决方案：

1. 检查日志文件：

bash复制cat $HADOOP_HOME/logs/*.log | grep -i error

2. 验证环境变量配置：

bash复制echo $JAVA_HOME
echo $HADOOP_HOME

3. 检查磁盘空间：

bash复制df -h

7.3 数据节点无法注册

问题现象：DataNode无法连接到NameNode

解决方案：

1. 检查集群ID是否一致：

bash复制cat $HADOOP_HOME/data/dfs/name/current/VERSION
cat $HADOOP_HOME/data/dfs/data/current/VERSION

2. 清理旧数据后重新格式化：

bash复制rm -rf $HADOOP_HOME/data $HADOOP_HOME/logs
hdfs namenode -format

8. 性能优化建议

8.1 内存配置调整

根据集群规模调整以下参数：

1. hadoop-env.sh：

bash复制export HDFS_NAMENODE_OPTS="-Xmx4g"
export HDFS_DATANODE_OPTS="-Xmx2g"

2. yarn-site.xml：

xml复制<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>8192</value>
</property>

8.2 数据副本策略

根据数据重要性调整副本数：

xml复制<!-- hdfs-site.xml -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

对于测试环境，可以设置为1以减少存储开销。

8.3 定期维护

1. 检查HDFS健康状态：

bash复制hdfs dfsadmin -report

2. 平衡数据分布：

bash复制hdfs balancer -threshold 10

3. 清理临时文件：

bash复制hdfs dfs -expunge

9. 集群扩展与升级

9.1 添加新节点

1. 克隆新虚拟机并修改配置
2. 同步环境变量和Hadoop配置
3. 将新节点加入workers文件
4. 启动新DataNode：

bash复制hdfs --daemon start datanode
yarn --daemon start nodemanager

9.2 集群升级步骤

1. 备份重要数据和配置文件
2. 停止所有服务
3. 升级Hadoop版本
4. 同步新版本到所有节点
5. 滚动重启服务

10. 安全注意事项

1. 定期备份NameNode元数据：

bash复制hdfs dfsadmin -fetchImage /backup/namenode

2. 限制SSH访问：

bash复制vi /etc/ssh/sshd_config
# 添加
AllowUsers hduser

3. 监控关键指标：

• HDFS存储使用率
• YARN资源利用率
• 节点健康状态

通过以上步骤，我们成功搭建了一个三节点的Hadoop完全分布式集群。在实际生产环境中，还需要考虑高可用、安全认证等更多因素。建议新手先通过这个基础集群熟悉Hadoop的运作机制，再逐步深入更复杂的配置和优化。