消息中间件这个领域,这几年被聊得最多的两个词:一个是 Kafka,另一个就是 Apache Pulsar。COSCon‘25 同场活动 Pulsar Developer Day 倒计时只剩 3 天,说实话,我对这场活动的期待值还挺高的。消息中间件是后端架构里绕不开的一环,从异步削峰到事件驱动,从数据管道到多租户隔离,核心场景几乎都被它包圆了。Pulsar 能在 Kafka 已经这么强势的情况下持续拿到开发者关注,靠的不是概念,而是真正把“存储与计算分离”落到了工程实践里。这篇文章我不打算做那种面面俱到的官方介绍,就把我自己从接触 Pulsar 到把它用进生产环境的过程、架构理解、踩坑经历,以及这次 Pulsar Developer Day 值得关注的点,一次性摊开来聊。
1. 消息中间件为什么突然成了必修课
1.1 从同步调用到异步解耦
如果你经历过早期单体应用的开发,肯定对“一个接口调到底”的同步链路不陌生:用户下单,订单服务同步调用库存服务,再调支付服务,再调积分服务,最后还要发短信。整个请求链路只要有一个服务变慢,用户那边就是一片转圈等待,数据库的连接池也容易被拖垮。这种架构最大的问题不是代码难写,而是服务之间的耦合太深:任何一个下游抖动都会反向传导到上游,最后形成雪崩。
消息中间件解决的问题,本质上是把“服务之间直接说”变成“通过一个可信的中间人转达”。生产者把事件丢进消息队列就返回,消费者按自己的节奏去处理。好处有三层:第一是异步化,调用方不需要傻等;第二是削峰填谷,突发流量先落到队列里,消费者按吞吐能力慢慢消费;第三是解耦,上下游之间不需要知道对方的存在,只要约定好消息格式就能各自演进。这三件事说起来简单,真正在架构里落地的时候,选哪一款中间件、怎么设计 Topic、怎么保证消息不丢不重,全都变成了实打实的工程问题。
1.2 老三样之外,Pulsar 凭什么有姓名
业内消息中间件的选择,过去很长时间基本是 Kafka、RabbitMQ、RocketMQ 三足鼎立。Kafka 在日志采集和数据管道领域几乎是事实标准,吞吐量高、生态全,但在业务消息场景里并非没有短板。用过大规模 Kafka 集群的人应该都有体会:分区数量一旦上去,Rebalance 可能引发整个消费组的停顿;Broker 既管路由又管存储,扩容时数据迁移的操作成本很高;消息积压以后想要临时加消费者,又得先扩分区,而分区扩了又不能随便缩。这些痛点不影响 Kafka 的强大,但确实让“云原生 + 大规模业务消息”的团队开始寻找另一种思路。
Pulsar 吸引我的核心,是它把存储层彻底抽离了出来。Broker 只负责消息路由和元数据管理,真实数据写入底层的 Apache BookKeeper 集群。这个设计带来的直接变化是:Broker 变成了无状态的服务,扩容一个 Broker 不需要搬数据;存储节点和计算节点可以独立扩容;消息以 Segment 的方式存储在 BookKeeper 里,配合分层存储还能把历史数据自动卸载到对象存储。加上原生支持多租户、跨地域复制、四种订阅模式这些能力,Pulsar 更适合那种“一个集群服务多个业务团队、需要长期保留消息、还要做容灾”的复杂环境。
当然,Pulsar 不是银弹。它的运维复杂度比单机版 Kafka 要高,BookKeeper 引入的组件也更多,小团队如果只是为了接几个业务消息,直接用云上的托管 Kafka 或 Pulsar 也完全合理。但如果你在选型调研期,或者已经遇到了 Kafka 分区膨胀、Rebalance 抖动、跨机房复制困难这类问题,Pulsar 值得花力气认真学一学。这次 COSCon‘25 同场活动的 Pulsar Developer Day,很大程度上就是给这批“正在认真评估消息中间件的人”准备的。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Pulsar 架构拆解:存储与计算分离是怎么回事
2.1 两层架构:Broker 和 BookKeeper
Pulsar 的架构听起来复杂,拆开其实就是两层:无状态的 Broker 层和分布式的 BookKeeper 存储层。Broker 不保存消息数据,它只做三件事:接收生产者的消息,把消息写入 BookKeeper;从 BookKeeper 读取消息并推送给消费者;维护 Topic、租户、命名空间这些元数据。因为 Broker 无状态,你可以随时加机器横向扩展,新加的 Broker 不需要做数据重分布。这跟 Kafka 的“一台 Broker 管一批分区”很不一
