这篇文章是大数据项目实战系列的第二篇,按计划承接上一篇的基础环境准备。上一篇我们把腾讯轻量云服务器买好、系统初始化完毕,这一篇直接进入正题:用三台轻量云服务器,从零部署一套带高可用能力的Hadoop集群,并装上Hive和MySQL元数据库,最后跑通一个真正的分布式WordCount任务。如果你正在准备大数据面试,或者想给自己搭一套能用来做数仓项目、练手Flink的学习环境,这篇流程会非常实用。我会把所有步骤、配置项、为什么这么配置,以及实际踩过的坑全部写出来。
整个实践过程中有一个核心指导思想:平台可以不复杂,但流程必须完整。很多人学大数据卡在“只会在本地跑单机伪分布式”,一到面试聊起分布式架构就没话说。这套自建的轻量云集群虽然规模小,但完整复刻了生产环境的核心组件和部署逻辑,包括NameNode高可用、YARN资源调度、Hive元数据管理。你把它吃透了,后面看任何企业级大数据平台架构都会轻松很多。
1. 环境与选型:为什么把大数据集群建在轻量云上
1.1 为什么我坚持自己搭集群,而不是直接用EMR
先说选型。市面上有现成的EMR、托管Hadoop服务,点几下控制台就能给你一个集群,看起来很香,但我还是建议你自己从零搭一遍。原因很简单:面试不会问你“怎么在控制台点击创建EMR集群”,而是会问“NameNode挂了怎么办”“DataNode为什么不注册”“YARN任务为什么一直ACCEPTED”。这些问题,只有自己亲自部署过、排查过,脑子里才会有真实的模型。
腾讯轻量云服务器在这里的优势很明显:价格便宜,按量计费或者包年包月都能接受;镜像里面自带CentOS、Ubuntu可选;同账号同地域的几台机器默认内网互通,这对Hadoop集群内部通信非常友好。我这边用的配置是三台2核4G的轻量云,系统盘60G,装CentOS 7或者Rocky Linux都行。这个量级跑学习型集群完全够用,跑简单的MapReduce任务没问题,唯一的瓶颈是内存,所以后面我会专门讲YARN内存怎么调。
1.2 三节点怎么排角色,成本怎么算
集群规模我定的是三台,而不是一台伪分布式,也不是七八台大集群。一台机器只能验证“能跑”,但验证不了“分布式”,比如HDFS数据块怎么分布在不同节点、数据副本机制怎么工作、YARN怎么跨节点调度任务。这些才是大数据的核心概念,也是面试题的高频考点。
三台机器的角色规划如下:
| 主机名 | 内网地址 | 机器规格 | 部署角色 |
|---|---|---|---|
| nw1 | 10.0.0.11 | 2核4G | NameNode(Active)、ResourceManager(Active)、ZooKeeper、Hive |
| nw2 | 10.0.0.12 | 2核4G | NameNode(Standby)、ResourceManager(Standby)、ZooKeeper |
| nw3 | 10.0.0.13 | 2核4G | DataNode、NodeManager、JournalNode、ZooKeeper、MySQL |
为什么要三台?因为高可用需要奇数个ZooKeeper节点做选举,两个NameNode加一个或两个JournalNode才能支撑HDFS的共享编辑日志。三台是最小的高可用集群规模,同时也是成本最低的学习方案。我算过一笔账,三台2核4G轻量云包年的话,一天平均下来基本就是一杯咖啡的价钱,换来的是一个可以反复折腾、随时重置的实验环境,我觉得很值。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 集群基础准备:节点规划与系统初始化
2.1 服务器初始化清单:hosts、SSH免密、JDK一个都不能少
这一节很多教程都一笔带过,但恰恰是后面各种莫名其妙问题的根源。我的建议是按清单一步步来,每个节点都做一遍,不要跳步。
第一步,修改主机名:
bash复制# 三台机器分别执行
hostnamectl set-hostname nw1
# nw2、nw3 同理
第二步,修改 /etc/hosts,把三台机器的内网IP映射写进去。这里有个关键点:集群内部通信一定要用内网IP,不要用公网IP。公网IP走公网链路,带宽有限且延迟高,HDFS传数据块会非常慢,而且部分云厂商的公网带宽是计费的。
bash复制cat >> /etc/hosts <<EOF
10.0.0.11 nw1
10.0.0.12 nw2
10.0.0.13 nw3
EOF
第三步,统一创建运行用户。我习惯用 hadoop 用户,而不是root跑集群。原因有两层:一是Hadoop官方文档和绝大多数脚本默认排除root,用root启动会报环境变量相关的错误;二是实际生产环境也不会用root跑,提前养成好习惯。创建用户并配置sudo权限:
bash复制useradd hadoop
echo "hadoop123" | passwd --stdin hadoop
echo "hadoop ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers
第四步,配置SSH免密登录。这个不做的话,Hadoop的脚本在跨节点启停进程时会不断提示输入密码,自动化根本没法玩。从nw1生成密钥,然后把公钥分发到三台机器:
bash复制su - hadoop
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
ssh-copy-id hadoop@nw1
ssh-copy-id hadoop@nw2
ssh-copy-id hadoop@nw3
第五步,安装JDK。Hadoop 3.x要求Java 8或Java 11,我这边用OpenJDK 1.8,稳定且兼容性最好:
bash复制yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
确认版本:
bash复制java -version
把 JAVA_HOME 写入 /etc/profile,特别是后续配置Hadoop的 JAVA_HOME 时需要这个路径。用 readlink -f $(which java) 找到实际路径,一般是 /usr/lib/jvm/java-1.8.0-openjdk。
2.2 目录规划与权限设置:数据到底放哪里
很多新手在集群部署失败后选择重新格式化,但忽略了目录规划,格式化完依然报错。这里我给出当时使用的目录结构:
bash复制mkdir -p /data/hadoop/hdfs/namenode
mkdir -p /data/hadoop/hdfs/datanode
mkdir -p /data/hadoop/journaldata
mkdir -p /data/hadoop/logs
chown -R hadoop:hadoop /data
为什么不用默认的 /tmp/hadoop-* 目录?因为系统会定期清理 /tmp,一旦NameNode元数据被清理,集群等于报废,还得重新格式化。另外,轻量云一般默认系统盘是唯一的数据盘,空间有限,所以 /data 目录直接建在系统盘上;如果你的套餐能够挂载独立的数据盘,把 /data 挂到数据盘上更好,日志、HDFS数据块尽量别跟系统盘抢空间。
还有个容易踩的坑是权限。HDFS的NameNode、DataNode进程都是以 hadoop 用户启动的,如果目录是root创建的,启动时会报 Permission denied。所以每次创建完目录,记得 chown -R hadoop:hadoop。
顺手把防火墙放行或者直接关掉,学习环境我倾向于直接关掉系统防火墙:
bash复制systemctl stop firewalld
systemctl disable firewalld
但是!腾讯云轻量控制台还有一个“防火墙”页面,这里是云平台层面的规则,跟系统防火墙是两回事。你需要登录轻量控制台,在防火墙规则里放行Hadoop相关端口,不然外部访问Web UI和RPC端口都会被拦。我下面放一个常用的端口清单,建议收藏:
| 组件 | 端口 | 说明 |
|---|---|---|
| SSH | 22 | 远程登录 |
| ZooKeeper | 2181 | 客户端连接 |
| NameNode RPC | 8020 | HDFS客户端连接 |
