1. 为什么需要KRaft模式的Kafka?
三年前我第一次在生产环境遇到ZooKeeper崩溃导致整个Kafka集群不可用的情况时,就一直在期待这个去ZooKeeper化的架构。现在Apache Kafka 3.3版本终于正式支持KRaft模式,这意味着我们可以用更精简的架构部署Kafka——不需要再维护那个令人头疼的ZooKeeper集群了。
对于Java开发者来说,将KRaft模式的Kafka集成到Spring Boot应用中能获得两个显著优势:首先是资源占用更少,原本需要5个节点的ZooKeeper集群现在可以完全省略;其次是运维复杂度直线下降,再也不用处理ZK和Kafka之间的版本兼容性问题。接下来我会详细演示从零开始搭建KRaft模式Kafka集群,并完整集成到Spring Boot项目的全过程。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与集群规划
2.1 基础环境配置
我选择在Ubuntu 22.04 LTS上进行演示,这个版本对Docker的支持最为稳定。首先确保已经安装最新版Docker和docker-compose:
bash复制sudo apt update && sudo apt install -y docker.io docker-compose
sudo systemctl enable --now docker
验证安装:
bash复制docker --version
# 输出应类似:Docker version 20.10.21, build baeda1f
2.2 集群节点规划
考虑到KRaft模式的控制器选举机制,我们至少需要3个节点来保证高可用。这是我的节点规划表:
| 节点名称 | 服务端口 | 监听地址 | 角色配置 |
|---|---|---|---|
| kafka1 | 9092 | 192.168.1.1 | 控制器+代理 |
| kafka2 | 9092 | 192.168.1.2 | 控制器+代理 |
| kafka3 | 9092 | 192.168.1.3 | 代理 |
注意:生产环境建议将控制器角色单独部署,这里为演示方便采用混合部署模式。
3. Docker部署KRaft集群
3.1 编写docker-compose.yml
创建kafka-kraft目录,新建docker-compose.yml文件:
yaml复制version: '3.8'
services:
kafka1:
image: bitnami/kafka:3.4
hostname: kafka1
ports:
- "19092:9092"
