说个最近折腾的事。公司要上一套新的消息中间件,我们直接把主线版本定到了 Apache Kafka 4.1.1,也就是 Scala 2.13 编译的那个发行包,部署方式一步到位用了 KRaft 模式,完全没碰 ZooKeeper。当时有几个同事还在犹豫,觉得 KRaft 是不是还不够稳,我直接把官网文档和几个生产案例甩过去,然后花了半天时间在 Linux 服务器上从零拉到端到端跑通,全程没踩到什么大坑。这篇文章就是把这套完整的落地过程整理出来,包括为什么这个时间点可以放心用 KRaft、软件包怎么选、核心配置怎么写、存储目录一次格式化的坑、以及端到端验证和常见故障排查。如果你正准备在 Linux 上装 Kafka,或者正从老的 ZooKeeper 架构往新架构迁移,这篇应该能帮你少走很多弯路。
1. 为什么这个时间点可以放心用 KRaft
1.1 老 ZooKeeper 架构到底痛在哪
用过 Kafka 2.x、3.x 的同学应该都清楚,以前部署 Kafka 等于部署两套系统,一套 ZooKeeper 管元数据,一套 Kafka 管消息。Kafka 集群的 broker 注册、topic 分区信息、Controller 选举、消费者组的 offset 等等,全部依赖外部 ZooKeeper。生产环境为了保证 ZooKeeper 高可用,至少起三个节点,而且 ZooKeeper 本身又有独立的选举机制、会话超时、数据目录管理。等于说 Kafka 集群规模还不大,ZooKeeper 集群的先维护起来了,日常巡检多一倍的节点要看。
这个架构还有个更尴尬的问题,就是 Kafka broker 和 ZooKeeper 之间的“会话”是有时效的,一旦 ZooKeeper 那边因为网络抖动或者 GC 停顿触发会话超时,broker 就会被判定为下线,进而引发 Controller 重新选举、分区重新选主。很多线上抖动排查到最后,根因都会落到 ZooKeeper 的 session timeout 上,这种问题排查起来特别费劲。
1.2 KRaft 把元数据搬回 Kafka 自己的肚子
KRaft 模式的核心变化,是 Kafka 不再依赖外部 ZooKeeper 存元数据了,而是自己内部形成了一个元数据日志(Metadata Log),由一组专门的 Controller 节点通过 Raft 共识算法来维护。你可以把老架构里的 ZooKeeper 理解成“外聘的档案馆”,所有重要的元数据都要跑出去存取,而 KRaft 时代的 Controller 就是“自家成立的档案科”,Kafka 的元数据就存在 Controller 自己的日志目录里,通过 Raft 协议在多个 Controller 之间同步。
Kafka 4.x 是官方正式把 ZooKeeper 代码从主流程里移除的版本。也就是说,从 4.0 开始,你根本找不到 zookeeper.connect 这种配置项了,安装包里也不会再部署 ZooKeeper。4.1.1 作为 4.x 的修订版本,KRaft 的稳定性已经过多个小版本的迭代,单集群从 3 个 Controller 扩展到几十个 broker 都是官方支持的标准玩法。所以我说,这个时间点上手 KRaft,不叫尝鲜,叫顺应主线。
1.3 少了 ZooKeeper 之后到底爽在哪
最直观的感受就是部署组件少了三个节点,整个 Kafka 集群只需要 broker 和 controller 两种角色,单机测试的时候甚至可以跑“组合模式”,一个进程同时当 Controller 和 Broker,对开发环境特别友好。
弹性扩容也更聪明了。原来加一个 broker 节点,要先在 ZooKeeper 里注册配置,等它同步完元数据,再慢慢把分区迁过去;KRaft 模式下,新 broker 启动后连上 Controller 的 quorum 端口,Controller 就直接把元数据日志推给它,整个注册过程用秒算。还有一个隐藏收益,就是 Controller 的故障恢复速度上升了一个量级。原来 Controller 挂了要等 ZooKeeper 会话超时,再重新选主;现在 Controller 本身就是靠 Raft 日志复制的,几乎能做到秒级切换,对上层生产业务的影响小很多。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与软件包选型
2.1 Linux 基础环境与 JDK 版本
Kafka 是 JVM 应用,所以第一步还是把 JDK 装好,这一步不复杂,但版本千万别搞错。Kafka 4.x 要求最低 JDK 17,我自己用的是 OpenJDK 21,LTS 版本,稳定而且新特性支持全。这里有个容易犯迷糊的点,Kafka 官方二进制包里虽然标注了 Scala 2.13,但运行时并不要求你装 Scala 环境,Scala 只是用来说明 Kafka 源码的编译版本,客户端和 broker 运行只需要 JVM 就行。
Linux 发行版方面,我用的是 CentOS 7.9 兼容环境的云主机,不过这套操作在 Ubuntu 22.04、Rocky Linux 9 上也都一样。装 JDK 我建议直接用发行版的包管理器,省事,比如 CentOS/Rocky 用 yum install java-17-openjdk-devel,Ubuntu 用 apt install openjdk-17-jdk-headless,装完确认一下版本别太低就行。
bash复制java -version
# openjdk version "17.0.11" 2024-04-16 LTS
# OpenJDK Runtime Environment
# OpenJDK 64-Bit Server VM
2.2 理解 Kafka 安装包的名字 kafka_2.13-4.1.1
Kafka 官方下载页面会同时给好几个 tgz 包,比如 kafka_2.13-4.1.1.tgz 和 kafka_3.10-4.1.1.tgz。这里的 2.13 是 Scala 编译版本。历史上 Kafka 会同时发布基于 Scala 2.12、2.13 的多个包,但从 4.0 开始基本只保留 Scala 2.13 版本了。普通使用者没必要纠结,直接选 kafka_2.13-4.1.1.tgz 就行,这是社区默认主线版本。
下载我建议去 Apache 官网找镜像链接,一般选择国内访问快的镜像。下载的时候顺手把 SHA512 校验一下,确保包没损坏。
bash复制cd /opt
wget https://downloads.apache.org/kafka/4.1.1/kafka_2.13-4.1.1.tgz
sha512sum kafka_2.13-4.1.1.tgz
tar -xzf kafka_2.13-4.1.1.tgz
ln -s /opt/kafka_2.13-4.1.1 /opt/kafka
2.3 目录规划:数据目录单独放
解压完成后,Kafka 目录结构很清晰,bin 下面全是运维脚本,config 下面全是配置文件,logs 是启动日志目录。生产环境我要特别提醒一句,一定把数据目录和程序目录分开。Kafka 的 log.dirs 是真正存分区数据的地方,IO 压力极大,建议挂在独立的 SSD 数据盘上。比如 /data/kafka/kraft-combined-logs,这样后续换系统盘、扩磁盘都方便,不至于一条命令把数据搞没。
程序目录我放在 /opt/kafka,数据目录放在 /data/kafka,这个习惯建议从第一天就养成。
3. KRaft 模式核心配置逐项拆解
3.1 拿到手的默认配置是单节点的,别急着改
Kafka 包里默认带了一份 config/kraft/server.properties,这是专门给 KRaft 模式用的默认配置。我第一次打开的时候大概扫了一眼,里面 process.roles、node.id、controller.quorum.voters 这些关键项都写好了,默认就是单节点“组合模式”(process.roles=broker,controller)。所以你要跑单机测试,其实只要把 advertised.listeners 改成你的服务器 IP,然后把 log.dirs 改到数据盘,基本就够用了。
但为了让你后面能灵活扩成多节点集群,我还是把这份配置从头到尾拆一遍。下面这个表格是 KRaft 模式最关键的几个配置项:
| 配置项 | 作用 | 单节点示例 | 注意点 |
|---|---|---|---|
| process.roles | 当前节点担任的角色 | broker,controller | 单节点合一,多节点拆开 |
| node.id | 当前节点的唯一 ID | 1 | 每个节点必须唯一 |
| controller.quorum.voters | Controller 选举组成员 | 1@localhost:9093 | 格式是 node.id@host:port |
| listeners | 监听地址,可配置多个协议 | PLAINTEXT://:9092,CONTROLLER://:9093 | 必须包含 CONTROLLER |
| advertised.listeners | 对外广播的客户端连接地址 | PLAINTEXT://192.168.1.10:9092 | 不配置会默认取 listeners |
| listener.security.protocol.map | 协议名到安全协议的映射 | PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT | CONTROLLER 必须映射 |
| controller.listener.names | 用于 Controller 通信的 listener 名称 | CONTROLLER | 不能和 broker listener 重名 |
| inter.broker.listener.name | broker 之间通信用的 listener | PLAINTEXT | 必须和 controller 区分 |
| log.dirs | 元数据和分区数据目录 | /data/kafka/kraft-combined-logs | 建议独立数据盘 |
3.2 单节点组合角色完整配置实例
单台服务器做测试或小规模 demo,最省事的方式就是把 Controller 和 Broker 合在一个进程里。我下面这份配置是改好可以直接用的,只动了几个关键地方:
properties复制process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://192.168.1.10:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kraft-combined-logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
这里有几个细节得单独拿出来说。
第一,为什么 advertised.listeners 要单独配成服务器外网 IP?因为这个值会被注册到元数据里,客户端连接集群时向 Controller 要 broker 地址,拿到的就是 advertised.listeners 里的内容。如果你只写了 PLAINTEXT://:9092 这种“监听任意网卡”的配置,那广播给客户端的就是主机名加端口,客户端解析不到就白搭。我刚开始测试的时候就用 localhost 跑,本地 kafka-console-producer.sh 没问题,换到别的机器一连接就报 Connection refused,排查到最后就是 advertised.listeners 的问题。
第二,offsets.topic.replication.factor=1 和 transaction.state.log.replication.factor=1 是我故意设的。单节点只有一个副本,如果保持默认的 3,创建内部 topic 的时候会因为副本数不足直接失败。这个参数在多节点集群里一定要改回 3,否则 topic 的高可用就是摆设。
第三,log.dirs 一定不能用程序解压目录下的 tmp 路径,不然重启一次,数据目录要是被系统清了,整个集群元数据就没了。
3.3 多节点集群的配置差异
生产环境我建议 Controller 单独用 3 台节点,Broker 可以加更多,这样职责更清晰,也方便单独扩容。Controller 节点的配置大概是:
properties复制process.roles=controller
node.id=1
controller.quorum.voters=1@kafka-c1:9093,2@kafka-c2:9093,3@kafka-c3:9093
listeners=CONTROLLER://:9093
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT
log.dirs=/data/kafka/kraft-controller-logs
Broker 节点的配置大概是:
properties复制process.roles=broker
node.id=10
controller.quorum.voters=1@kafka-c1:9093,2@kafka-c2:9093,3@kafka-c3:9093
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://kafka-b1:9092
inter.broker.listener.name=PLAINTEXT
listener.security.protocol.map=PLAINTEXT:PLAINTEXT
log.dirs=/data/kafka/kraft-broker-logs
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2
default.replication.factor=3
min.insync.replicas=2
多节点配置里最容易出错的点,就是 controller.quorum.voters 必须在所有节点上保持一致,而且要把全部 Controller 节点都写进去。比如上面三台 Controller 的 node.id 是 1、2、3,那每台 broker 都要写完整的 1、2、3 这个列表。如果漏了其中一台,集群元数据同步就会出现“部分节点找不到对端”的问题,表面上日志不报错,但一旦 Controller 发生切换,整个集群可能就卡住了。
4. 生成集群 ID 与格式化存储目录
4.1 为什么需要集群 ID
这是 KRaft 模式和 ZooKeeper 模式最大的操作差异。ZooKeeper 模式下,Kafka 连接上外部 ZooKeeper 之后,元数据状态是 ZooKeeper 管理的,你几乎不需要考虑“集群初始化”的问题。KRaft 模式下,Kafka 的元数据日志是“自举”的,必须先给集群生成一个全局唯一的 cluster id,然后每一台节点拿到这个 id 去格式化自己的存储目录,元数据日志才开始工作。
可以这样理解,cluster id 就是集群的身份铭牌,同一个集群里的所有节点必须持有同一个 id,否则它们互相之间不认账。
4.2 格式化存储目录的正确姿势
Kafka 提供了一个专门的脚本 kafka-storage.sh 来做这件事。第一步生成随机 UUID:
bash复制KAFKA_CLUSTER_ID=$(/opt/kafka/bin/kafka-storage.sh random-uuid)
echo $KAFKA_CLUSTER_ID
# 输出类似:7fZ7QHrCS0K3xGX8lY8bNw
拿到这个 ID 之后,用 format 命令格式化数据目录:
bash复制/opt/kafka/bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c /opt/kafka/config/kraft/server.properties
这条命令会读取 server.properties 里配置的 log.dirs,然后在该目录下生成元数据。看到输出 Formatting /data/kafka/kraft-combined-logs with metadata.version XX 就算成功了。
如果你在单台机器上跑组合角色,那么只需要格式化一次。如果是多节点集群,每台 Controller 和 Broker 都要执行一次 format,但 cluster id 必须用同一个。
4.3 这里有个大坑:重复格式化的报错
这个坑我估计绝大多数第一次用 KRaft 的人都会踩。你第一次 format 成功之后,如果因为配置改错了,想重新格式化一遍,直接再跑一次命令,大概率会看到类似这样的报错:
text复制Error processing data directories
...
Log directory /data/kafka/kraft-combined-logs is already formatted.
意思很直白,目录已经被格式化过了,不允许重复格式化。这是 Kafka 做的一层保护机制,防止你误操作把已有集群的数据清掉。想强制重来,有两个办法:
第一,把 log.dirs 目录下的内容手动清空,然后重新 format。适合测试环境,但生产环境千万别这么干,除非你真的确定要重置集群。
第二,在新版 Kafka 的 format 命令里加了 --ignore-formatted 参数,遇到已格式化目录会直接跳过。
bash复制/opt/kafka/bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c /opt/kafka/config/kraft/server.properties --ignore-formatted
我想说的是,重复 format 这个操作在 ZooKeeper 时代几乎是隐形的,因为 ZooKeeper 数据在别处;在 KRaft 时代就变成了“格式化本地目录”这个显式动作。所以你在做任何 format 之前,一定要想清楚数据要不要了。我现在的习惯是,生产环境的 format 操作一律记到变更单里,执行前先 df -h 确认磁盘挂载对了,再跑命令。
格式化完成后,可以看一眼目录结构,会有 __cluster_metadata-0 之类的目录,里面就是 Kafka 自身的元数据日志分区。
bash复制ls -l /data/kafka/kraft-combined-logs/
# __cluster_metadata-0
5. 启动服务与端到端验证
5.1 启动 Kafka 进程并观察日志
格式化完成后,启动就简单了,一条命令:
bash复制/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/kraft/server.properties
Kafka 4.x 还是支持 -daemon 参数后台启动,不过我更喜欢先用前台模式跑起来观察日志,确认没有报错再改成后台。
bash复制/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
日志输出到 stdout,重点看以下几行:
text复制[KafkaRaftServer] Kafka Server started
看到这行基本就说明进程起来了。如果用的是前台模式,按 Ctrl+C 能正常关闭,不要直接 kill。
启动之后还可以用两个命令做快速自检。一是看端口是否监听:
bash复制ss -lntp | grep -E '9092|9093'
二是用 kafka-broker-api-versions.sh 确认 broker 能正常响应:
bash复制/opt/kafka/bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092
这条命令会打印出 broker 支持的 API 版本列表,只要不报错,说明控制器选举和元数据同步都正常。
5.2 创建 Topic 和生产消费验证
集群没问题是骡子是马,创建个 topic 拉出来遛遛。先创建一个测试主题:
bash复制/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--create --topic test-topic --partitions 3 --replication-factor 1
创建成功会输出 Created topic test-topic.。然后看下主题描述:
bash复制/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--describe --topic test-topic
重点看 Leader 列和 Replicas 列。单节点环境下所有分区的 Leader 都会是 node 1,这很正常。多节点集群里,3 个分区应该分散在不同 broker 上,同时 Replicas 应该是 3。
接着开一个终端启动消费者,再开一个终端启动生产者,做一些消息收发测试:
bash复制# 消费者终端
/opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server localhost:9092 \
--topic test-topic --from-beginning
# 生产者终端
/opt/kafka/bin/kafka-console-producer.sh \
--bootstrap-server localhost:9092 \
--topic test-topic
在生产者终端敲几行消息,消费者终端能看到,说明端到端链路就是通的。这里我要特别提醒一句,--from-beginning 参数加上之后,消费者会从最早的消息开始读,这用来验证历史消息没问题;不加的话,消费者只会读启动之后新生产的数据,这是新手最容易误判“为什么我发消息消费者收不到”的原因。
5.3 生产前必做的几个检查
一套 Kafka 集群从“测试能跑”到“生产敢用”,中间还差几个动作,我整理成清单给你参考:
- 文件描述符限制:Kafka 对文件句柄要求极高,要确认
ulimit -n至少是 65535。在/etc/security/limits.conf里加上kafka soft nofile 65535和kafka hard nofile 65535,然后用ulimit -n验证。 - 内存配置:默认 JVM 堆大小不一定适合你,编辑
bin/kafka-server-start.sh里的KAFKA_HEAP_OPTS,常见设置是-Xms4g -Xmx4g。16G 内存的机器跑单节点测试,给 4G 堆足够。 - 自动创建 Topic:开发环境方便,把
auto.create.topics.enable=true留着;生产环境建议关掉,否则客户端一写错 topic 名,Kafka 就悄无声息地给你建了一堆主题,后面清理非常麻烦。 - JMX 监控:启动命令前加上
JMX_PORT=9999,之后再用 Prometheus + JMX exporter 采集 Kafka 指标。比如JMX_PORT=9999 /opt/kafka/bin/kafka-server-start.sh -daemon ...。 - 删除 Topic 开关:如果你需要测试删除主题,记得在 server.properties 里配置
delete.topic.enable=true,默认值是 false,不配的话删除命令返回成功但 topic 实际还在。
6. 常见问题与排查技巧实录
6.1 问题速查表
这部分是我把最近实际操作里遇到过的报错和网上高频问题汇总成的一个速查表,可能比前面所有配置加起来还有用。
| 现象 | 常见原因 | 处理方式 |
|---|---|---|
启动报 Log directory ... is already formatted |
存储目录重复格式化被保护 | 用 --ignore-formatted 跳过,或清空 log.dirs 重新 format |
客户端连不上 broker,报 Connection refused |
防火墙没放行 9092 端口,或 advertised.listeners 配置错误 | 先 ss -lntp 看端口,再核对 advertised.listeners 是否是客户端可达地址 |
启动报 Controller quorum voters is empty |
没配 controller.quorum.voters 或配了空值 | 检查 server.properties,并确保 controller.listener.names 对应 listener 存在 |
| Controller 节点能起来,broker 老是连不上 quorum | controller.quorum.voters 中的 host:port 对不齐 | 各节点之间 9093 端口一定要互通,且所有节点投票列表一致 |
创建带副本的 topic 失败,报 Replication factor larger than available brokers |
broker 总数少于副本数,或内部配置 default.replication.factor 偏大 | 调低副本因子,或先扩容 broker 节点 |
| 生产消费同一台机器可以跨机器不行 | advertised.listeners 还停留在 localhost | 改成对外 IP 或域名,重启 broker |
| 删除 topic 后还能看到 | delete.topic.enable=false |
在 server.properties 里设置 true 并重启 |
日志里频繁出现 Timeout 或 NotLeaderOrFollower |
磁盘 IO 慢,或 Controller 节点压力大 | 检查磁盘 iostat,必要时用 SSD,并给 Controller 单独节点 |
6.2 一个典型案例:advertised.listeners 的连环坑
把这块单独拎出来说,是因为它真的困扰了我很久。第一次用 KRaft 单节点搭测试环境,本地生产消费一切正常,我心想完事了,结果第二天换到公司内网另一台机器去连,控制台一直报 Connection refused。第一时间查防火墙,端口是放开的;查监听,9092 确实在监听;最后用 kafka-broker-api-versions.sh --bootstrap-server <服务器IP>:9092 一跑,才发现报错信息里还在尝试连接 localhost。
原因就是 advertised.listeners 没配,broker 把 localhost:9092 广播给了客户端。客户端拿到这个地址去连自己的 localhost,自然就连不上。改成 IP 之后,重启 broker,问题秒解。这个场景在 Docker 部署和云主机上尤其常见,容器内外网络视角不一样,一定提前把广播地址想清楚。
6.3 排查思路:从日志到系统层面
遇到 Kafka 相关的异常,我先说一个通用排查顺序,比盲目搜报错高效得多。
第一步看 broker 日志。Kafka 默认日志目录是 $KAFKA_HOME/logs,里面按时间滚动存了 server.log、controller.log 等滚动文件。绝大多数问题的直接线索都在这里。
第二步看系统状态。消息队列是 IO 密集型应用,CPU 高不高、磁盘 IO 是不是打满了、文件描述符用光了没有,都会直接影响性能。用 top、iostat、df -h 挨个扫。
第三步看集群状态。用命令查每个节点的状态和分区分布,再确认各节点之间的网络延迟。多节点集群里,网络分区是最隐蔽的故障源之一,Controller 和 broker 之间只要断开一次,恢复时间远超预期。
最后一步才是搜报错。因为 Kafka 的报错信息往往把根本原因藏在“发生问题前 50 行的 WARN 日志”里,直接搜 ERROR 容易把思路带偏。
6.4 日常运维的几个习惯
文章最后分享几个我个人的运维习惯,算是长期和 Kafka 打交道攒下来的经验。
第一,配置变更前一定备份 server.properties,并附带时间戳。我用 cp server.properties server.properties.$(date +%Y%m%d%H%M%S),这样出问题可以快速回滚。
第二,Kafka 脚本命令太多记不住,可以把常用命令写成 shell alias 存在 ~/.bashrc 里,比如 alias kafka-topics='/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092',每次操作省去一大段前缀。
第三,多节点集群里改配置要逐台滚动重启,不要一次性全停。Kafka 的设计哲学就是“永远有节点在服务”,哪怕只是加了一个内网 IP 的白名单,我也会一台一台来,每台重启完确认日志无 ERROR 再操作下一台。
第四,集群数据目录的容量监控一定要提前做,用 cron 或者监控系统定时检查磁盘使用率,超过 70% 就提前告警。Kafka 磁盘写满后,轻则分区不可写,重则 broker 直接崩溃,处理成本远高于提前扩容。
第五,如果只是单机测试,组合角色模式确实方便;但一旦业务量起来,还是趁早拆成独立 Controller 和独立 Broker。组合模式虽然省机器,但 Controller 的元数据压力和 Broker 的数据读写压力全挤在一个进程里,遇到突发流量时互相影响,排查起来很麻烦。
最后一句经验
如果你问我从 ZooKeeper 架构切到 KRaft 最深的感受是什么,我会说,Kafka 4.x 之后的运维真的变简单了,但它的“简单”是建立在理解元数据自管机制之上的。cluster id 到底是什么、format 为什么不能乱跑、quorum voters 为什么每台都要一致,这几个问题想清楚了,KRaft 就是一套很顺手的工具。接下来这个集群我还会继续往上叠加 Kafka Connect 和监控体系,到时候有什么新的坑,再回来接着聊。
