xuliagn1. 大数据平台搭建与运维实战指南
作为参加过多次大数据竞赛的选手，我深知平台搭建环节对整个比赛的关键性影响。2026年广东省职业院校技能大赛的大数据赛项任务书，对参赛选手的平台搭建能力提出了全面要求。下面我将结合实战经验，详细解析Hadoop集群和MySQL数据库的部署要点。
1.1 基础环境配置精要
在开始Hadoop安装前，系统环境准备是重中之重。根据任务书要求，我们需要配置三节点集群（master、node01、node02），以下是关键步骤的深度解析：
主机名与hosts配置：
bash复制# 永久修改主机名（以master节点为例）
hostnamectl set-hostname master
echo "192.168.1.101 master" >> /etc/hosts
echo "192.168.1.102 node01" >> /etc/hosts
echo "192.168.1.103 node02" >> /etc/hosts
特别注意：hosts文件中的IP地址必须与各节点实际IP一致，且需要确保三台机器网络互通。建议先用ifconfig命令确认各节点IP，这是后续免密登录的基础。
JDK环境部署技巧：
- 解压安装包时使用-C参数指定目标目录更高效：
bash复制tar -zxvf /opt/software/jdk-8u391-linux-x64.tar.gz -C /opt/module/
- 环境变量配置建议追加到/etc/profile.d/java.sh中，避免直接修改主profile文件：
bash复制echo 'export JAVA_HOME=/opt/module/jdk1.8.0_391' > /etc/profile.d/java.sh
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile.d/java.sh
source /etc/profile.d/java.sh
防火墙与SSH免密登录：
bash复制# 禁用防火墙（比赛环境要求，生产环境需谨慎）
systemctl stop firewalld
systemctl disable firewalld
# SSH免密登录配置要点
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub node01
ssh-copy-id -i ~/.ssh/id_rsa.pub node02
常见踩坑点：
- 免密登录失败时，检查目标节点.ssh目录权限必须为700
- 确保各节点时间同步（chrony服务），否则可能导致HDFS异常
1.2 Hadoop集群部署详解
Hadoop完全分布式部署是比赛的核心难点，以下是关键配置的优化建议：
关键配置文件调整：
- hadoop-env.sh中必须明确指定JAVA_HOME：
bash复制export JAVA_HOME=/opt/module/jdk1.8.0_391
- core-site.xml配置示例：
xml复制<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data/tmp</value>
</property>
</configuration>
集群启动顺序与验证：
- 格式化NameNode（仅在首次部署时执行）：
bash复制hdfs namenode -format
- 启动HDFS：
bash复制start-dfs.sh
- 启动YARN：
bash复制start-yarn.sh
- 验证服务：
bash复制# master节点应有NameNode、SecondaryNameNode、ResourceManager
jps
# 数据节点应有DataNode、NodeManager
ssh node01 jps
性能优化技巧：
- 在hdf