Hadoop集群Kerberos认证部署与安全配置详解

1. Kerberos认证系统与Hadoop集群安全架构解析

在企业级大数据环境中，Hadoop集群的安全防护一直是运维工作的重中之重。传统基于Linux用户权限的认证机制存在两大核心缺陷：一是无法实现服务级别的细粒度访问控制，二是缺乏有效的凭证验证机制。Kerberos认证系统的引入，从根本上解决了这些安全问题。

Kerberos的工作原理可以类比为现代化办公大楼的门禁系统。在没有Kerberos的环境中，用户只需通过大楼门禁（服务器登录）就能畅通无阻地访问所有办公室（服务），这种粗放式的安全控制存在明显漏洞。Kerberos通过引入KDC（Key Distribution Center，密钥分发中心）这一核心组件，构建了完善的三方认证机制：

1. 票据授予票据（TGT）：用户首次认证时从KDC获取的临时凭证，相当于办公楼的门禁卡
2. 服务票据（ST）：访问具体服务时需要的专用凭证，相当于各个办公室的独立门卡
3. Keytab文件：服务端用于验证票据的密钥文件，相当于门禁系统的验证数据库

这种机制实现了以下安全特性：

• 双向认证：不仅验证客户端身份，也验证服务端身份
• 票据时效性：默认24小时有效，防止凭证被长期滥用
• 防重放攻击：每个票据包含唯一的时间戳和加密信息
• 服务隔离：不同服务需要不同的服务票据

2. Kerberos部署基础环境准备

2.1 硬件与网络规划

本次部署采用四节点架构，具体规划如下：

关键准备事项：

1. 确保所有节点间网络互通，DNS解析正常
2. 域名必须全部使用小写字母（大写会导致认证异常）
3. 系统时间必须同步（建议配置NTP服务）
4. 使用CentOS 7 64位系统，配置阿里云yum源

2.2 Kerberos软件包安装

在KDC节点(node4)执行：

bash复制yum install -y krb5-server krb5-libs krb5-workstation

在其他Hadoop节点执行：

bash复制yum install -y krb5-workstation krb5-libs

注意：krb5-server包含KDC服务核心组件，只需安装在KDC节点。krb5-workstation提供管理工具，所有节点都需要安装。

3. Kerberos核心配置详解

3.1 全局配置文件krb5.conf

所有节点都需要配置/etc/krb5.conf文件，建议先备份原文件：

bash复制mv /etc/krb5.conf /etc/krb5.conf.bak

新建配置文件内容如下：

ini复制[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = HADOOP.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 udp_preference_limit = 1
 default_tgs_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96
 default_tkt_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96
 permitted_enctypes = aes256-cts-hmac-sha1-96 aes128-cts-hmac-sha1-96

[realms]
 HADOOP.COM = {
  kdc = node4:88
  admin_server = node4:749
 }

[domain_realm]
 .hadoop.com = HADOOP.COM
 hadoop.com = HADOOP.COM

关键参数解析：

1. 加密算法选择：

   • 必须禁用不安全的DES算法（如des3-hmac-sha1）
   • 推荐使用AES-256加密（aes256-cts-hmac-sha1-96）

2. 票据生命周期：

   • ticket_lifetime：默认24小时
   • renew_lifetime：最大可续期7天

3. 域名解析：

   • dns_lookup_realm/dns_lookup_kdc必须设为false
   • 域名映射通过[domain_realm]节手动配置

3.2 KDC服务配置

在KDC节点(node4)配置/var/kerberos/krb5kdc/kdc.conf：

ini复制[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88

[realms]
 HADOOP.COM = {
  master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes256-cts:normal aes128-cts:normal
  max_life = 24h
  max_renewable_life = 7d
 }

配置ACL权限文件/var/kerberos/krb5kdc/kadm5.acl：

code复制*/admin@HADOOP.COM      *

3.3 初始化Kerberos数据库

在KDC节点执行：

bash复制kdb5_util create -s -r HADOOP.COM

• -s参数生成stash文件，避免每次启动需手动输入密码
• 需设置强密码并妥善保管

启动服务：

bash复制systemctl start krb5kdc kadmin
systemctl enable krb5kdc kadmin

4. Kerberos主体管理与Keytab生成

4.1 创建管理员主体

bash复制kadmin.local -q "addprinc admin/admin"

验证管理员登录：

bash复制kadmin -p admin/admin

4.2 Hadoop服务主体规划

Hadoop各组件需要的主体格式有严格要求：

4.3 批量创建主体并生成Keytab

在KDC节点执行：

bash复制mkdir -p /opt/keytab

# NameNode
kadmin.local -q "addprinc -randkey nn/node1"
kadmin.local -q "addprinc -randkey nn/node2"

# JournalNode 
kadmin.local -q "addprinc -randkey jn/node1"
kadmin.local -q "addprinc -randkey jn/node2"
kadmin.local -q "addprinc -randkey jn/node3"

# DataNode & NodeManager
for i in {1..3}; do
  kadmin.local -q "addprinc -randkey dn/node$i"
  kadmin.local -q "addprinc -randkey nm/node$i"
done

# ResourceManager
kadmin.local -q "addprinc -randkey rm/node2"
kadmin.local -q "addprinc -randkey rm/node3"

# HTTP
for i in {1..3}; do
  kadmin.local -q "addprinc -randkey HTTP/node$i"
done

# ZooKeeper
for i in {1..3}; do
  kadmin.local -q "addprinc -randkey zookeeper/node$i"
done

# 合并生成keytab文件
kadmin.local -q "ktadd -k /opt/keytab/hadoop.keytab \
nn/node1 nn/node2 \
jn/node1 jn/node2 jn/node3 \
dn/node1 dn/node2 dn/node3 \
nm/node1 nm/node2 nm/node3 \
rm/node2 rm/node3 \
HTTP/node1 HTTP/node2 HTTP/node3 \
zookeeper/node1 zookeeper/node2 zookeeper/node3"

# 验证keytab内容
klist -k /opt/keytab/hadoop.keytab

将生成的keytab分发到各节点：

bash复制for i in {1..3}; do
  scp /opt/keytab/hadoop.keytab node$i:/opt/keytab/
done

5. Hadoop系统用户与权限配置

5.1 创建系统用户

在所有Hadoop节点执行：

bash复制groupadd hadoop
useradd -g hadoop hdfs
useradd -g hadoop yarn
useradd -g hadoop mapred
useradd -g hadoop http

# 设置各用户密码
echo "密码" | passwd --stdin hdfs
echo "密码" | passwd --stdin yarn
echo "密码" | passwd --stdin mapred
echo "密码" | passwd --stdin http

5.2 配置Keytab权限

bash复制chown -R root:hadoop /opt/keytab/
chmod 440 /opt/keytab/hadoop.keytab

5.3 Hadoop目录权限

按照官方推荐配置目录权限：

bash复制# Hadoop安装目录
chown -R hdfs:hadoop /opt/hadoop323
chmod -R 755 /opt/hadoop323

# HDFS数据目录
chown -R hdfs:hadoop /opt/hadoop323/hdpData/dfs
chmod -R 700 /opt/hadoop323/hdpData/dfs

# 日志目录
chown -R hdfs:hadoop /opt/hadoop323/logs
chmod -R 775 /opt/hadoop323/logs

# YARN本地目录
chown -R yarn:hadoop /opt/hadoop323/hdpData/tmp/nm-local-dir
chmod -R 755 /opt/hadoop323/hdpData/tmp/nm-local-dir

# 用户日志目录
chown -R yarn:hadoop /opt/hadoop323/logs/userlogs
chmod -R 755 /opt/hadoop323/logs/userlogs

# JournalNode数据目录
chown -R hdfs:hadoop /opt/hadoop323/hdpData/journaldata
chmod -R 755 /opt/hadoop323/hdpData/journaldata

6. Hadoop Kerberos安全配置

6.1 core-site.xml 配置

xml复制<!-- 启用Kerberos认证 -->
<property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
</property>

<!-- 启用服务授权 -->
<property>
    <name>hadoop.security.authorization</name>
    <value>true</value>
</property>

<!-- 主体到本地用户映射规则 -->
<property>
    <name>hadoop.security.auth_to_local</name>
    <value>
        RULE:[2:$1](HTTP.*)s/.*/http/
        RULE:[2:$1](nn.*)s/.*/hdfs/
        RULE:[2:$1](dn.*)s/.*/hdfs/
        RULE:[2:$1](rm.*)s/.*/yarn/
        RULE:[2:$1](nm.*)s/.*/yarn/
        RULE:[2:$1](jhs.*)s/.*/mapred/
        RULE:[2:$1](jn.*)s/.*/hdfs/
        DEFAULT
    </value>
</property>

6.2 hdfs-site.xml 配置

xml复制<!-- NameNode配置 -->
<property>
    <name>dfs.namenode.kerberos.principal</name>
    <value>nn/_HOST@HADOOP.COM</value>
</property>
<property>
    <name>dfs.namenode.keytab.file</name>
    <value>/opt/keytab/hadoop.keytab</value>
</property>

<!-- DataNode配置 -->
<property>
    <name>dfs.datanode.kerberos.principal</name>
    <value>dn/_HOST@HADOOP.COM</value>
</property>
<property>
    <name>dfs.datanode.keytab.file</name>
    <value>/opt/keytab/hadoop.keytab</value>
</property>

<!-- HTTPS配置 -->
<property>
    <name>dfs.http.policy</name>
    <value>HTTPS_ONLY</value>
</property>

6.3 yarn-site.xml 配置

xml复制<!-- ResourceManager配置 -->
<property>
    <name>yarn.resourcemanager.principal</name>
    <value>rm/_HOST@HADOOP.COM</value>
</property>
<property>
    <name>yarn.resourcemanager.keytab</name>
    <value>/opt/keytab/hadoop.keytab</value>
</property>

<!-- NodeManager配置 -->
<property>
    <name>yarn.nodemanager.principal</name>
    <value>nm/_HOST@HADOOP.COM</value>
</property>
<property>
    <name>yarn.nodemanager.keytab</name>
    <value>/opt/keytab/hadoop.keytab</value>
</property>

7. SSL证书配置

7.1 CA证书生成

在CA节点执行：

bash复制openssl req -new -x509 -keyout /root/hdfs_ca_key -out /root/hdfs_ca_cert -days 36500 -subj '/C=CN/ST=beijing/L=haidian/O=devA/OU=devB/CN=devC'

7.2 节点证书生成

每个节点执行：

bash复制# 生成keystore
keytool -keystore /root/keystore -alias node1 -genkey -keyalg RSA -dname "CN=node1, OU=dev,O=dev,L=dev,ST=dev,C=CN" -storepass 123456 -keypass 123456

# 生成证书请求
keytool -certreq -keystore /root/keystore -alias node1 -file /root/cert -storepass 123456 -keypass 123456

# CA签名
openssl x509 -req -CA /root/hdfs_ca_cert -CAkey /root/hdfs_ca_key -in /root/cert -out /root/cert_signed -days 36500 -CAcreateserial

# 导入CA证书和签名证书
keytool -keystore /root/keystore -alias ca -import -file /root/hdfs_ca_cert -storepass 123456 -noprompt
keytool -keystore /root/keystore -alias node1 -import -file /root/cert_signed -storepass 123456 -noprompt

# 生成truststore
keytool -keystore /root/truststore -alias ca -import -file /root/hdfs_ca_cert -storepass 123456 -trustcacerts -noprompt

# 设置权限
chown -R root:hadoop /home/keystore /home/truststore
chmod 770 /home/keystore /home/truststore

7.3 Hadoop SSL配置

配置ssl-server.xml：

xml复制<property>
    <name>ssl.server.truststore.location</name>
    <value>/home/truststore</value>
</property>
<property>
    <name>ssl.server.truststore.password</name>
    <value>123456</value>
</property>
<property>
    <name>ssl.server.keystore.location</name>
    <value>/home/keystore</value>
</property>
<property>
    <name>ssl.server.keystore.password</name>
    <value>123456</value>
</property>

8. 服务启动与验证

8.1 ZooKeeper配置

zoo.cfg追加：

properties复制authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000

jaas.conf配置：

code复制Server {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/opt/keytab/hadoop.keytab"
  storeKey=true
  useTicketCache=false
  principal="zookeeper/node1@HADOOP.COM";
};

8.2 服务启动顺序

1. 启动ZooKeeper集群
2. 启动JournalNode
3. 启动NameNode
4. 启动DataNode
5. 启动ResourceManager
6. 启动NodeManager
7. 启动JobHistory

8.3 验证方法

1. 使用kinit获取票据：

bash复制kinit -kt /opt/keytab/hadoop.keytab nn/node1@HADOOP.COM

2. 查看票据：

bash复制klist

3. 测试HDFS访问：

bash复制hadoop fs -ls /

4. 提交测试作业：

bash复制hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar pi 10 100

9. 常见问题排查指南

9.1 认证失败问题

症状：GSSException: No valid credentials provided

排查步骤：

1. 检查keytab文件是否包含正确的主体
2. 验证系统时间是否同步
3. 检查krb5.conf中的realm配置
4. 确认防火墙未阻止88端口通信

9.2 ZooKeeper认证问题

症状：String index out of range: -1

解决方案：
确保zookeeper主体包含完整的主机名，格式为：

code复制zookeeper/hostname@REALM

9.3 SSL配置问题

症状：SSL handshake failed

排查步骤：

1. 检查keystore和truststore文件权限
2. 验证证书CN是否匹配主机名
3. 确认密码配置正确
4. 检查jceks文件是否可用

9.4 服务启动权限问题

症状：User hdfs is not privileged

解决方案：

1. 确保container-executor二进制文件权限为6050：

bash复制chmod 6050 $HADOOP_HOME/bin/container-executor

2. 确认属主为root:hadoop
3. 检查yarn.nodemanager.linux-container-executor.group配置

10. 生产环境优化建议

1. KDC高可用：部署多个KDC实例，配置DNS轮询
2. 票据续期：配置自动化票据续期机制
3. 监控告警：监控票据过期时间和KDC服务状态
4. 密钥轮换：定期更新keytab文件
5. 审计日志：开启KDC的详细审计日志
6. 网络隔离：将KDC部署在管理网络区域

实际部署中，Kerberos配置往往需要与企业的LDAP/AD系统集成，建议在测试环境充分验证后再进行生产部署。对于大型集群，可以考虑使用Apache Ranger等工具进行更细粒度的访问控制。