鲲鹏ARM服务器部署HDP 3.1全攻略与性能调优

1. 环境准备与前置检查

在鲲鹏架构服务器上部署HDP 3.1需要特别注意硬件兼容性和操作系统适配问题。不同于x86环境，鲲鹏920处理器采用ARMv8架构，这意味着所有软件包都需要对应的ARM版本支持。

1.1 硬件配置建议

对于生产环境部署，建议采用以下硬件规格：

• 物理节点数量：至少3台（满足HDFS和ZooKeeper的HA要求）
• 单节点配置：
  • CPU：鲲鹏920（48核以上）
  • 内存：128GB起步（大数据组件内存消耗较大）
  • 存储：建议RAID 10配置，SAS/SATA SSD混合部署
  • 网卡：双万兆网卡绑定（bonding模式建议使用balance-rr）

特别注意：鲲鹏服务器BIOS中需要开启NUMA平衡和电源性能模式，具体路径为：

code复制BIOS > Advanced > Performance Configuration > 
  NUMA Balancing: Enabled
  Power Policy: Performance

1.2 操作系统选择与优化

我们测试过两种OS的适配情况：

CentOS 7.6 ARM版优化要点：

1. 关闭透明大页（THP）：

   bash复制echo never > /sys/kernel/mm/transparent_hugepage/enabled
   echo never > /sys/kernel/mm/transparent_hugepage/defrag
   

2. 修改swappiness值：

   bash复制sysctl vm.swappiness=10
   

3. 安装必备工具链：

   bash复制yum install -y epel-release
   yum groupinstall -y "Development Tools"
   yum install -y python-devel openssl-devel libffi-devel java-1.8.0-openjdk-devel
   

openEuler 20.03 LTS特有配置：

1. 使用openEuler的默认内核（4.19.90）需要打补丁：

   bash复制yum install -y kernel-devel-$(uname -r)
   

2. 针对鲲鹏芯片的优化参数：

   bash复制echo "vm.zone_reclaim_mode=1" >> /etc/sysctl.conf
   echo "net.ipv4.tcp_rmem=4096 87380 16777216" >> /etc/sysctl.conf
   sysctl -p
   

1.3 依赖包解决策略

由于官方HDP仓库主要面向x86架构，我们需要手动处理ARM兼容性问题：

1. 建立本地仓库镜像：

   bash复制createrepo /path/to/local/repo
   

2. 关键组件替代方案：
   • MySQL驱动：使用MariaDB的ARM兼容版本
   • PostgreSQL：编译安装9.6版本（需指定ARM优化参数）
   • Python依赖：使用pip时添加--no-binary参数强制源码编译

2. 定制化安装方案设计

2.1 仓库配置技巧

创建自定义仓库配置文件/etc/yum.repos.d/hdp.repo：

ini复制[HDP-3.1]
name=HDP Version - HDP-3.1
baseurl=http://public-repo-1.hortonworks.com/HDP/centos7-arm/3.1.0.0-78
gpgcheck=0
enabled=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7-arm
gpgcheck=0
enabled=1

踩坑记录：官方仓库的ARM版本可能存在部分包缺失，我们准备了备用方案：

1. 使用alien工具转换.deb包
2. 从源码编译关键组件（如ambari-server）

2.2 网络拓扑规划

推荐的多节点部署架构：

code复制                   +-----------------+
                   |   Load Balancer |
                   +--------+--------+
                            |
           +----------------+-----------------+
           |                |                 |
     +-----+------+   +-----+------+   +------+-----+
     |  Master1   |   |  Master2   |   |  Master3   |
     | (Ambari)   |   | (Namenode) |   | (YARN RM) |
     +-----+------+   +-----+------+   +------+-----+
           |                |                 |
     +-----+------+   +-----+------+   +------+-----+
     |  Worker1   |   |  Worker2   |   |  Worker3   |
     | (DataNode) |   | (DataNode) |   | (DataNode) |
     +------------+   +------------+   +------------+

关键配置参数：

• 主机名解析必须使用/etc/hosts（DNS在某些组件中可能引发问题）
• 所有节点时间同步必须配置（建议chrony）：

  bash复制yum install -y chrony
  systemctl enable chronyd
  systemctl start chronyd
  

2.3 数据库选型建议

针对ARM架构的性能测试结果：

配置示例（PostgreSQL）：

sql复制ALTER SYSTEM SET shared_buffers = '4GB';
ALTER SYSTEM SET effective_cache_size = '12GB';
ALTER SYSTEM SET maintenance_work_mem = '2GB';

3. 分步安装流程

3.1 Ambari Server安装

1. 安装基础包：

   bash复制yum install -y ambari-server
   

2. 针对ARM的调整：

   bash复制# 替换有问题的JAR包
   cp /usr/lib/ambari-server/ambari-*.jar /tmp/backup/
   wget https://mirror.iscas.ac.cn/apache/ambari/ambari-2.7.5/ambari-2.7.5.tar.gz
   tar -xzf ambari-2.7.5.tar.gz
   cp ambari-2.7.5/ambari-server/target/ambari-*.jar /usr/lib/ambari-server/
   

3. 初始化设置：

   bash复制ambari-server setup \
     --jdbc-db=postgresql \
     --jdbc-driver=/usr/share/java/postgresql-jdbc.jar
   

3.2 集群部署实战

在Ambari Web UI中需要特别注意的步骤：

1. 主机注册时：

   • 取消勾选"Perform version check"
   • 在"Advanced Repository Options"中手动指定ARM仓库

2. 服务选择策略：

   • 先部署核心组件（HDFS/YARN/ZooKeeper）
   • 后安装辅助服务（Hive/HBase等）

3. 配置调优参数：

   xml复制<!-- hdfs-site.xml 优化 -->
   <property>
     <name>dfs.datanode.handler.count</name>
     <value>30</value>
   </property>
   
   <!-- yarn-site.xml 优化 -->
   <property>
     <name>yarn.nodemanager.resource.cpu-vcores</name>
     <value>32</value>
   </property>
   

3.3 组件兼容性处理

需要手动修复的组件列表：

具体操作示例（Spark修复）：

bash复制# 在/usr/hdp/current/spark2-client/conf/spark-defaults.conf添加：
spark.executor.extraLibraryPath /usr/lib/hadoop/lib/native
spark.driver.extraLibraryPath /usr/lib/hadoop/lib/native

4. 性能调优与验证

4.1 基准测试对比

使用TestDFSIO进行的性能测试结果：

关键调优参数：

bash复制# 内核参数
echo "vm.dirty_ratio = 20" >> /etc/sysctl.conf
echo "vm.dirty_background_ratio = 10" >> /etc/sysctl.conf

# HDFS参数
hdfs dfsadmin -setBalancerBandwidth 104857600

4.2 JVM优化方案

针对ARM架构的JVM特殊配置：

bash复制# 在ambari的"Advanced"配置中添加：
-XX:+UseParallelGC 
-XX:ParallelGCThreads=16 
-XX:+UseAdaptiveSizePolicy
-XX:ReservedCodeCacheSize=512m

4.3 长期稳定性验证

我们设计的压力测试方案：

1. 连续72小时运行YARN作业
2. 每2小时随机重启1个DataNode
3. 每天执行HBase major compaction

监控指标重点关注：

• GC时间（应<200ms/次）
• 节点负载均衡差异（<15%）
• 磁盘IO等待（<20%）

5. 运维管理实践

5.1 监控体系搭建

推荐使用Prometheus+Granfana的监控方案：

1. 部署node_exporter（需ARM版本）：

   bash复制wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-arm64.tar.gz
   tar -xzf node_exporter-*.tar.gz
   cp node_exporter-*/node_exporter /usr/local/bin/
   

2. 关键监控指标：

   • 鲲鹏芯片特有：L3缓存命中率
   • 磁盘：node_disk_io_time_seconds_total
   • 网络：node_network_receive_bytes_total

5.2 升级策略

ARM环境的特殊升级流程：

1. 创建组件兼容性矩阵：

   bash复制ambari-server upgrade check
   

2. 滚动升级顺序：
   • 先无状态组件（ZooKeeper）
   • 再核心服务（HDFS NameNode）
   • 最后计算框架（YARN ResourceManager）

5.3 故障处理手册

常见问题速查表：

深度排查案例：

log复制# 典型错误日志：
java.lang.UnsatisfiedLinkError: /usr/lib/hadoop/lib/native/libhadoop.so.1.0.0: 
wrong ELF class: ELFCLASS64

# 解决方案：
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz
tar -xzf hadoop-3.1.4.tar.gz
cp hadoop-3.1.4/lib/native/* /usr/lib/hadoop/lib/native/