上一篇文章写了如何在腾讯轻量云服务器上把基础环境跑通,从购买实例到 JDK 配置、SSH 免密登录、目录规划,算是把“地基”打好了。这一篇直接进入正题,围绕“大数据项目实战”真正的内容:在轻量云上部署 HDFS、YARN、Spark、Hive 这一整套大数据核心组件,把集群跑起来,并且能正常提交一个离线统计任务。整个过程我会把每个关键操作、踩坑点和验证方式都写清楚。
1. 集群部署规划与服务器配置选型
1.1 轻量云服务器的资源配置思路
先交代一下我手头的机器情况。用的是腾讯轻量云服务器,CPU 2 核、内存 4GB、带宽 5Mbps,系统盘 50GB 标准 SSD,数据盘额外挂载了一块 80GB 的云硬盘。这个配置放在生产环境里不值一提,但做大数据实战学习、跑项目原型、甚至支撑小规模的数据处理任务,完全够用。
大数据组件对内存的消耗是目前最大的瓶颈,尤其是 HDFS NameNode、YARN ResourceManager、Hive Metastore 这些角色,JVM 堆内存一般要预留 1GB 到 2GB 才能跑得流畅。所以我在规划角色分配的时候,把内存占用大的进程分开部署,避免所有进程堆在一台机器上导致频繁 GC,甚至 OOM。
我这里没有用三台机器搭真正的分布式集群,而是在一台轻量云上采用“伪分布式 + 多进程”模式:HDFS 的 NameNode 和 DataNode 在同一台机器,YARN 的 ResourceManager 和 NodeManager 也在同一台机器,其他组件按角色叠加部署。这样做的好处是:
- 单机部署能理清每个组件的角色边界,排查问题更直观;
- 腾讯轻量云 4GB 内存足够支撑所有进程同时运行;
- 后续如果要对标分布式集群,只需把角色拆到多台机器,配置几乎不需要大改。
做过大数据生产环境的人可能会说,单机伪分布式和真正的分布式集群差距很大,这点我承认。但对一个实战项目来说,关键不是机器数量,而是把组件怎么协作、怎么配置、怎么提交任务这些核心链路跑通。
1.2 用户、目录与系统参数规划
目录规划沿用第一篇的约定,统一放在 /data 下,这样后续扩容和管理都方便:
- 软件安装目录:
/data/soft - 数据存储目录:
/data/disk1 - 日志目录:
/data/logs - 临时目录:
/data/tmp
创建专属用户 bigdata,避免直接用 root 跑大数据服务。大数据组件以 root 身份运行会有各种权限问题,而且一旦误操作删了不该删的目录影响面太大。我的习惯是单独建用户,把软件目录和数据目录的属主都改成这个用户。
部署前还需要调整几个关键的系统参数:
bash复制# 修改文件句柄数限制
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc 65535" >> /etc/security/limits.conf
# 关闭防火墙(内网环境测试用)
systemctl stop firewalld
systemctl disable firewalld
# 关闭 SELinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
文件句柄数和进程数不过调大的话,HDFS 在大量小文件场景下会疯狂报 “Too many open files”,这个坑我第一跑的时候就踩过,提前调好省得后面来回折腾。
1.3 组件版本选型与兼容性说明
目前用的组件版本如下:
| 组件 | 版本 | 说明 |
|---|---|---|
| JDK | 1.8.0_202 | Hadoop 生态兼容性最好的版本 |
| Hadoop | 3.3.4 | HDFS + YARN + MapReduce |
| Spark | 3.3.0 | 使用 pre-built for Hadoop 3.3+ 版本 |
| Hive | 3.1.3 | Metastore + HiveServer2 |
| MySQL | 8.0.x | 存储 Hive 元数据 |
| ZooKeeper | 3.7.1 | 可选,用于 HA 和高阶特性 |
版本这事情看起来简单,实际上是个大坑。Hadoop 3.3.x 有多个小版本,Spark 3.3.0 默认构建是基于 Hadoop 3.3.1,我一开始图省事用了 Hadoop 3.3.6,结果 Spark 和 Hadoop 的 RPC 协议在个别接口上不兼容,提交任务时总是报类找不到。后来统一降级到 3.3.4 之后,所有问题都消失了。建议装 Hadoop 生态组件时,不要盲目追新,选一个生态里大家普遍验证过的版本组合最重要。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基础组件安装与配置实战
2.1 数据盘挂载与格式化
腾讯云轻量服务器购买后,数据盘默认是未格式化、未挂载的状态。先把这块盘搞定,否则后面 HDFS 的存储目录没法落地。
bash复制# 查看磁盘分区情况
fdisk -l
# 对 /dev/vdb 进行分区(按 n、p、1、回车、回车、w 的流程走)
fdisk /dev/vdb
# 格式化分区
mkfs.ext4 /dev/vdb1
# 挂载到 /data/disk1
mkdir -p /data/disk1
mount /dev/vdb1 /data/disk1
# 开机自动挂载
echo '/dev/vdb1 /data/disk1 ext4 defaults 0 0' >> /etc/fstab
这里有个细节:挂载数据盘的路径最好在安装组件之前就定好,因为后面 HDFS 的 dfs.datanode.data.dir 和 dfs.namenode.name.dir 都要指定到这个路径。如果你装完 Hadoop 再挂盘,就得去改配置然后重启 HDFS,虽然也能做,但没必要多这一趟折腾。
2.2 JDK 8 安装与环境变量配置
JDK 的安装本身不难,难的是和各个组件的兼容性确认。Hadoop 3.x 至今对 Java 8 的支持最稳定,Spark 3.3 官方文档明确支持 Java 8/11/17,但实际跑起来调度 YARN 应用时,Java 8 的坑最少。
bash复制cd /data/soft
tar -zxvf jdk-8u202-linux-x64.tar.gz
mv jdk1.8.0_202 jdk8
然后编辑 /etc/profile 添加环境变量:
bash复制export JAVA_HOME=/data/soft/jdk8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
我只把 JDK 装在系统层面,每个组件(Hadoop、Spark、Hive)内部不再单独带 JDK。这样的话 JDK 升级只改一处,组件配置里的 JAVA_HOME 统一指过来即可。
2.3 SSH 免密登录配置(含单机回环)
单机部署也需要配置 SSH 免密登录,因为 Hadoop 的 start-dfs.sh 脚本会通过 SSH 连接 localhost 来启动远程进程,如果不做免密,每次启动都要输密码,脚本根本没法用。
bash复制# 生成密钥对(一路回车即可)
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 将公钥写入 authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 修改权限
chmod 600 ~/.ssh/authorized_keys
# 验证免密登录
ssh localhost
在轻量云上有一个常见的坑:如果你用公网 IP 去 SSH 免密登录,云厂商的安全组策略可能会拦截,所以集群内部通信地址要用内网 IP 或主机名。 我把 /etc/hosts 里加了这么一行:
bash复制127.0.0.1 vm-server
所有组件的配置里,只要涉及本机地址的地方,统一用 vm-server 这个主机名,不使用公网 IP。这样无论从内部通信还是后续安全配置角度,都是更合理的做法。
