先说一个我印象特别深刻的生产事故。去年我们做微服务改造,把原本一个单体应用拆成了二十多个服务,配置管理却还停留在一台服务器一套配置的老路上——数据库连接串、Redis 地址、MQ Topic 到处都是,谁想改就改,谁也不确定还有多少份拷贝散落在各个环境。那回联调,A 服务连的是测试库,B 服务连的是预发库,两边数据对不上,一群人查了大半天,最后发现是某个同事改公共配置的时候只同步了部分服务,剩下几个还指向老地址。就是从那天起,我下定决心把配置统一收口。
正好那段时间公司推进中间件国产化,应用服务器换成了宝兰德应用服务器微服务版本 V11.5.0,这个版本原生支持接入 ZooKeeper 配置中心。借着这个契机,我把整套微服务的配置都迁到了 ZooKeeper 上。这篇文章就把整个接入过程、原理和这半年踩过的坑从头到尾梳理一遍,给正在做同类改造的同学一个可参考的路径。
1. 为什么非要把配置从服务里“赶”出来
1.1 微服务拆完之后,配置管理会变成灾难
单体应用时代,配置一般集中在一个 application.properties 或者一个配置目录里,改完重新发布一次就行,哪怕目录多,也还是在一个代码仓库里。微服务化之后情况就完全不一样了:服务数量翻了好几倍,每个服务又有开发、测试、预发、生产四套环境,配置项互相交叉,又互相独立。我最直观的感受就是,光维护“哪个服务连哪个库”这么一张表,团队里就得有一个人专门盯着,否则一不留神就串了环境。
改配置本身也是个麻烦事。传统方式下,配置是随应用包一起打包发布的,想改一个参数就得重新构建、重新发布,整个过程至少要十几分钟。遇到线上问题需要调日志级别、改超时时间,这种“重启才能生效”的模式在生产上是非常痛苦的。更不要说多个服务依赖同一份配置的时候,比如上游接口的地址变了,你得挨个服务去改、去发布,漏掉任何一个,故障就来了。
所以微服务架构做到一定规模,配置中心就不是“可选项”,而是“必选项”。配置集中管理以后,一份配置一处修改,所有订阅的服务自动感知并生效,这才是分布式系统该有的配置管理形态。
1.2 ZooKeeper 能当配置中心的底层逻辑
很多人一听到 ZooKeeper,第一反应是“分布式协调服务”,是给 Kafka、Dubbo 做注册中心用的,用它做配置中心总觉得有点跨界。其实 ZooKeeper 的设计天然适合做配置管理,核心就在于它的数据模型和监听机制。
ZooKeeper 的数据存储结构是一个树形命名空间,类似文件系统目录树,每个节点叫 znode。znode 可以存数据,也可以有子节点,路径本身就带有业务含义。比如 /bes/config/order-service/prod/datasource 这个节点,一眼就能看出来是 order-service 服务在 prod 环境下的数据源配置。我经常跟团队里的人打比方:你把 ZooKeeper 当成一个“分布式文件系统”来理解就顺了,只是这个文件系统多了一个特别重要的能力——每个节点都能挂监听器。
这个能力就是 Watcher 机制。客户端可以监听某个节点或者节点的子节点,一旦节点数据发生变化,ZooKeeper 服务端会主动推送通知给客户端。用到配置管理上就是:客户端启动时读取配置并注册监听,服务端配置变更后推送通知,客户端收到通知再重新拉取配置,整个过程完全自动化,不需要人工干预。这就是动态刷新能够实现的底层原因。
1.3 为什么选了 ZooKeeper 而不是 Nacos 或 Consul
这个话题在团队里也争论过。Nacos 在国内很火,配置管理、服务发现二合一,控制台用起来也方便;Consul 在云原生场景下也有不少拥趸。最终我们还是选了 ZooKeeper,有几个很实际的考虑。
第一,宝兰德微服务版本本身对 ZooKeeper 的适配是开箱即用的,接入成本最低。第二,我们这套微服务框架里 ZooKeeper 本来就承担了注册中心和分布式锁的职责,再让它管配置,等于一套集群干三件事,运维上不用额外维护一套配置中心系统。第三,团队对 ZooKeeper 的运维经验相对丰富,出了故障能快速定位。
Nacos 当然有它的优势,比如自带控制台、可视化配置管理,但对我们的规模来说,ZooKeeper + 自建的管理脚本已经完全够用了。选型这件事没有绝对的对错,关键是匹配团队现状和业务规模。如果你没有任何 ZooKeeper 基础,纯粹是为了配置管理,那 Nacos 可能上手更快;但如果你已经有一套 ZooKeeper 集群,而且微服务框架本身也依赖它,那复用起来是最省事的。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 宝兰德微服务版的配置架构:ZooKeeper 到底插在哪一层
2.1 V11.5.0 的运行形态和配置来源
宝兰德应用服务器微服务版本 V11.5.0 不是一个纯粹的 Spring Cloud 套件,它是把应用服务器从单体形态往微服务形态延伸的产品——既有传统应用服务器的管理能力,比如部署、监控、日志、安全管理,又提供了微服务场景下的服务注册发现、配置管理、负载均衡这些能力。
在这个版本里,配置来源是有优先级的,它不是一上来就去 ZooKeeper 拉配置,而是有一个加载顺序。我梳理了一下,大致是这样一个链路:
- 启动时先加载应用服务器自身的基础配置,包括端口、JVM 参数、日志级别这些;
- 再加载应用级配置,也就是你打包在应用里的配置文件和本地配置;
- 如果配置了 ZooKeeper 地址,会再去 ZooKeeper 上拉取远端配置;
- 远端配置在粒度上覆盖本地配置,同名配置项以远端为准。
也就是说,ZooKeeper 在这里是“最高优先级的配置源”,但不是唯一的配置源。本地配置作为兜底保留,防止 ZooKeeper 集群出故障时应用完全起不来。这个设计我后来想想是非常合理的,配置中心挂了不能把业务也拖死,至少能用本地缓存的一份配置继续跑一段时间。
2.2 配置的三层拆分
我们在规划配置的时候,把配置拆成了三个层次,每一层对应不同的管理方式和变更频率。
第一层是平台配置,包括应用服务器的端口、内存参数、线程池大小、JVM 参数这些。这一层基本很少动,属于“基础设施级”配置,放不放 ZooKeeper 其实都行,但我们还是放上去了,为的是新节点扩容的时候不需要人工去一台台调整。第二层是应用配置,包括数据源、Redis 地址、MQ 连接、第三方接口地址,这些是每个服务的核心配置,变更频率中等,是最需要集中管理的一层。第三层是运行时动态配置,比如日志级别、流控阈值、开关类配置,这些变更最频繁,而且变更后要立即生效,是最依赖 ZooKeeper Watcher 机制的一层。
这三层配置对应的 ZooKeeper 路径我们也做了规划,下面的路径设计在接入之前就要想清楚,不然后面维护起来会乱。
2.3 命名空间和数据节点的规划
ZooKeeper 配置路径设计是接入之前最重要的规划工作,没有之一。路径设计得不好,后面所有服务都会跟着乱。
我最终用的是这个结构:
text复制/bes/config/{namespace}/{appName}/{profile}/{key}
其中 namespace 用来区分大的业务域或者租户;appName 是服务名;profile 是环境标识,对应 dev、test、pre、prod;key 是具体配置项名,或者一个配置文件名。
这样的好处是,同一个 ZooKeeper 集群可以承载多个业务线和多个环境,路径天然隔离。比如:
text复制/bes/config/trade/order-service/prod/datasource.url
/bes/config/trade/order-service/prod/datasource.username
到这里可能有人会问,为什么不把一份完整的配置文件内容存到一个节点里,而是一个个 key 拆开存?两种方式我们都试过。整文件存储的优点是读取方便,一次拉取就全部到位,ZooKeeper 对节点数据大小也有限制(默认 1MB),一份正常的配置文件放进去没有任何问题。缺点是如果要改其中一个参数,你得把整个文件内容都覆盖一遍,这时候其他订阅该节点的服务可能收到一次不必要的变更通知,而且容易产生并发覆盖的问题。我们最终采用的是“整文件 + 关键项单点”混合模式:一般配置项整理成 properties 文件整存,日志级别、动态开关这种需要精细变更的单独建节点,各有各的用处。
3. 动手前先把 ZooKeeper 集群准备好
3.1 版本选择和基础环境
ZooKeeper 的版本选择我建议不要用太老的。我们刚开始用了 3.4.x,后来排查一个诡异的连接断开问题,最后发现和旧版 Watcher 机制以及会话管理的 bug 有关。宝兰德 V11.5.0 我实测下来,配合 ZooKeeper 3.6.3 以上版本比较稳妥,现在 3.7.x、3.8.x 也都成熟了,可以直接用。版本太低不光有 bug,客户端 API 也老,很多新特性用不上。
环境要求很简单:JDK 1.8 或以上,Linux 服务器,三台起步。内存方面 ZooKeeper 本身不特别吃内存,但因为它要同时承担注册中心和配置中心的职责,连接数会比较多,建议每台至少分配 2GB 以上堆内存,JVM 参数里调整一下堆大小。磁盘倒是不用太担心,ZooKeeper 的数据量其实很小,我们用了一个季度,单台的数据目录也就几百 MB。真正的压力在连接数和 Watch 数量上,不在数据量上。
3.2 集群模式的 zoo.cfg 关键配置
三台机器的 ZooKeeper 集群是最常见的部署方式,既能保证高可用,又不会引入过多的协调开销。zoo.cfg 里有几个参数需要特别说明一下:
ini复制tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=zk1.example.com:2888:3888
server.2=zk2.example.com:2888:3888
server.3=zk3.example.com:2888:3888
autopurge.snapRetainCount=3
autopurge.purgeInterval=24
tickTime 是 ZooKeeper 最基本的时间单位,2000 毫秒是默认值,一般不用改。initLimit 是 Follower 启动后与 Leader 建立连接并完成同步的最长心跳数,10 个 tick 就是 20 秒。如果机房网络有抖动,这个值可以适当放大。syncLimit 是 Leader 与 Follower 之间心跳检测的阈值,超过这个时间没有收到心跳,Leader 就会认为这个 Follower 挂了。这两个参数在网络不稳定的时候很关键,我后面踩坑部分会详细讲。
dataDir 要放在一个磁盘空间充足且独立的目录下,不建议和系统盘放在一起。clientPort 就是客户端连接端口,默认 2181。后面的 2888 端口是集群内部 Follower 和 Leader 通信用的,3888 是选举用的,这三个端口在防火墙里都要放通,很多人只放行了 2181,结果集群始终起不来,就是这个原因。
autopurge 两个参数是控制快照和事务日志自动清理的,如果不设置,时间长了 dataDir 会无限增长,我们曾经在生产上见过某个 ZooKeeper 节点磁盘被日志塞满的情况,加了自动清理之后就没有再出现。
3.3 集群验证的几种方式
配置好之后,还要验证集群是否真正健康。我最常用的几个命令:
bash复制# 查看节点角色和集群状态
zkServer.sh status
# 通过四字命令查看健康指标
echo srvr | nc localhost 2181
echo stat | nc localhost 2181
# 进入客户端命令行
zkCli.sh -server zk1:2181,zk2:2181,zk3:2181
zkServer.sh status 是最直观的,三台机器上应该分别看到 leader 和 follower 的角色,如果三台全是 standalone 或者全是 leader,那配置就有问题。echo srvr 能看连接数、节点数、发送接收的数据包数量,这些指标对后续排查问题非常有用。zkCli.sh 进入之后可以用 ls 和 get 命令来验证数据读写。
还有一点要确认,集群所有节点能互相 ping 通,并且 2888、3888 端口能通。我之前遇到过一次,三台 ZooKeeper 分布在两个机房,防火墙策略只通了 2181,结果集群一直选不出 Leader,后来用 telnet 挨个测端口才发现问题。
4. 接入 V11.5.0:一次完整的配置迁移记录
4.1 配置 ZooKeeper 连接信息
宝兰德微服务版本接入 ZooKeeper 配置中心,入口是管理控制台。部署完 V11.5.0 之后,在控制台找到配置管理相关的菜单(不同版本菜单位置可能有细微差别,大致在“系统配置”或“微服务管理”下面),填上 ZooKeeper 集群的连接串:
text复制zk1.example.com:2181,zk2.example.com:2181,zk3.example.com:2181
连接串用英文逗号分隔,客户端会自动选择一个可用节点建立连接。这里注意,不要只填一台机器的地址,否则这台机器挂了配置就完全不可用了。ZooKeeper 客户端会自己处理节点切换,连接串里多填几台是零成本的保险。
除了控制台,V11.5.0 也支持通过配置文件方式指定 ZooKeeper 地址,适合自动化部署场景。在应用服务器实例的 conf 目录下,有一个类似 bes-microservice.properties 的全局配置文件,里面有这样一个配置项:
properties复制zookeeper.connect-string=zk1.example.com:2181,zk2.example.com:2181,zk3.example.com:2181
zookeeper.session-timeout=10000
zookeeper.root-path=/bes/config
root-path 是配置数据的根路径,我建议在接入的第一个工作日就定下来,后面所有环境、所有服务都统一挂在这个根路径下面,千万不要出现有的服务挂在 /bes、有的挂在 /app 这种混乱情况。
4.2 初始化配置数据结构
ZooKeeper 集群准备好以后,先把配置数据的目录结构创建好。用 zkCli.sh 手动创建的话,一条一条执行比较慢,我推荐写成一个初始化脚本,方便在多个环境之间复用。
bash复制#!/bin/bash
ZK_SERVER="zk1:2181,zk2:2181,zk3:2181"
BASE="/bes/config"
# 创建根节点
create_root() {
/opt/zookeeper/bin/zkCli.sh -server $ZK_SERVER create $BASE "" 2>/dev/null
}
# 创建环境节点
for env in dev test pre prod; do
/opt/zookeeper/bin/zkCli.sh -server $ZK_SERVER create $BASE/order-service/$env "" 2>/dev/null
/opt/zookeeper/bin/zkCli.sh -server $ZK_SERVER create $BASE/payment-service/$env "" 2>/dev/null
/opt/zookeeper/bin/zkCli.sh -server $ZK_SERVER create $BASE/user-service/$env "" 2>/dev/null
done
创建完结构之后,再把每个服务的具体配置文件写进去。这里我推荐用文件方式一次性导入,而不是在命令行里一个 key 一个 key 地 set。比如 order-service 的 prod 环境,我们把原来 application.properties 的内容整理好,放到一个节点下:
bash复制/opt/zookeeper/bin/zkCli.sh -server $ZK_SERVER create \
/bes/config/order-service/prod/application.properties \
"$(cat order-service-prod.properties)"
注意节点数据不要超过 1MB,正常配置文件远达不到这个上限。如果真有个别大配置,建议拆分成多个节点,或者考虑用文件系统而非 ZooKeeper 来管理。
4.3 首轮启动:本地配置兜底,远端配置接管
配置写好之后,启动服务。V11.5.0 启动时会先从本地加载基础配置,然后连接 ZooKeeper 拉取远端配置。验证远端配置是否生效,最直接的办法是看启动日志。宝兰德的控制台和日志文件里会输出配置源信息,类似这样的日志:
text复制INFO [main] Loading configuration from ZooKeeper, path=/bes/config/order-service/prod/application.properties
INFO [main] Local configuration overridden by remote configuration, key=datasource.url
INFO [main] Zookeeper configuration initialized successfully, nodes=23, watch-count=11
看到这种日志,说明远端配置已经接管。第一次接入的时候,我建议在 order-service 配置里故意写错一个库名,然后从日志里看它有没有用这个错误的库名去连数据库,如果连了说明远端配置生效,如果还是连的本地配置的库,那就说明远端配置拉取失败了。用这种“主动制造错误”的方式验证,比单纯看日志靠谱得多。
还有一个细节,服务启动后,到 ZooKeeper 节点上执行 echo stat | nc localhost 2181,可以看到当前这台 ZooKeeper 上的连接数增加了,说明微服务客户端确实和 ZooKeeper 集群建立了会话。
4.4 让 Spring Cloud Zookeeper 成为备用通道
如果你的服务是标准的 Spring Cloud 体系,宝兰德微服务版其实是兼容的。这种情况下还有一种更细粒度的接入方式,就是在应用的 pom 文件里引入 Spring Cloud Zookeeper Config:
xml复制<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-zookeeper-config</artifactId>
</dependency>
然后在 bootstrap.yml 里指定配置源路径:
yaml复制spring:
cloud:
zookeeper:
connect-string: zk1:2181,zk2:2181,zk3:2181
config:
root: /bes/config
default-context: application
profile-separator: '/'
这种方式的好处是粒度细到单个配置项,Spring 的 @ConfigurationProperties、@Value 注解可以直接绑定到 ZooKeeper 上的配置节点,而且不需要依赖管理控制台。但我们实际生产环境用的是控制台接入为主,Spring Cloud 这条链路留作了备用。多一个通道意味着多一种灵活性,但也意味着配置源的优先级要梳理得更清楚,否则会搞不清某一条配置到底是从哪个路径进来的,这一点一定要提前想明白。
5. 动态刷新是怎么回事,又该怎么验证
5.1 刷新一条日志级别,走完整个链路
动态刷新是配置中心最核心的价值,也是我第一次在同事面前“炫技”的内容。当时线上有个服务接口超时率突然升高,我判断需要把某个类的日志级别从 INFO 调到 DEBUG,缩小问题范围。
整个操作过程是这样的:先在 ZooKeeper 节点上执行 set 命令,把日志级别节点从 info 改成 debug;然后大概一两秒后,服务控制台的日志就开始输出 DEBUG 级别的详细信息了,全程没有重启。同事看到这个效果的第一反应是“卧槽,这怎么做到的”,我当时的内心是有点得意的。
这背后其实是 Watcher 机制在起作用。完整链路分五步:
- 客户端启动时,在 ZooKeeper 上注册了对
/bes/config/order-service/prod/log.level节点的 Watcher; - 运维人员或管理平台执行 set 命令,修改了这个节点的数据;
- ZooKeeper 服务端检测到节点数据版本变化,向所有注册了 Watcher 的客户端发送“数据变更”通知;
- 客户端收到通知后,调用 getData 重新获取最新数据;
- 应用框架把新值注入到对应配置类,刷新运行时参数。
要注意的一个关键点是,Watcher 是“一次性”的。也就是说,客户端收到一次通知之后,这个 Watcher 就失效了,必须由客户端在收到通知后的回调里重新注册 Watcher,才能继续监听下一次变更。如果客户端代码里忘了重新注册,那后来的所有配置变更都不会再收到通知。这正是“动态刷新”实现中第一大坑。宝兰德 V11.5.0 内置的客户端封装处理了这个问题,但如果你要自己写监听代码,一定不要踩这个坑。
5.2 验证动态刷新的几个实操方法
配置迁移完成之后,强烈建议把所有配置项做一次逐个的动态刷新验证,不要只测一个 log.level 就完事。我总结了三个验证维度。
第一个是基础验证:改一个值,确认生效,改回来,再确认恢复。第二步很容易被忽略,但很必要,因为你得确认“再改回去”也是一条完整链路。第二个是并发验证:两个配置项同时改,看客户端是不是都能正确拉到最新的值,有没有出现覆盖问题。第三个是失效验证:把 ZooKeeper 集群停掉一台,同时改配置,观察客户端行为,确认在集群少一个节点的情况下动态刷新依然正常。
我自己实际测的时候发现过一个问题,当 ZooKeeper 集群发生 leader 切换时,如果有正在进行的配置变更操作,个别客户端可能会短暂地拿到旧值,要等下一次变更才会纠正。这种情况概率很小,但在金融类对数据一致性要求非常高的场景里,你要有心理预期,必要的时候应该通过配置版本号机制来辅助校验。
5.3 配置变更的审计追踪
配置中心上线之后,还有一件事必须要做——配置变更审计。微服务环境里,一条配置改错了影响的可能是几十个实例,如果没有审计日志,出了问题很难回溯“是谁、在什么时候、改了什么”。
ZooKeeper 本身没有完整的审计功能,我们是用两层方案解决的。第一层是 ZooKeeper 的事务日志,数据变更都会记录到事务日志文件里,但这个日志是二进制的,直接查不太方便。第二层是我们在管理控制台前面加了一个操作层,所有配置变更统一通过一个内部管理平台发起,这个平台自己去调 ZooKeeper 的 API,同时把变更人、变更时间、变更内容记入数据库。这样既保留了“改配置统一走平台”的入口,也解决了审计问题。
如果你暂时没有精力搭管理平台,最低成本的方案是在 zkCli 之外写几个运维脚本,比如 update_config.sh,脚本里固定加上当前操作人和时间戳的日志记录,也能凑合着用。
6. 上线一个季度之后,那些实打实踩过的坑
6.1 Session 超时和重连带来的“幽灵断连”
接入初期遇到的最诡异的问题就是:应用日志里偶尔会出现 ZooKeeper session expired 的警告,然后又自己恢复。一开始没当回事,直到有一次配置变更在某个节点上完全没生效,排查了很久才发现那个节点的 ZooKeeper 会话已经过期重连了,重连之后监听全部丢失。
这个问题的根源在于会话超时时间设置得偏短,而我们的网络偶尔会有超过 10 秒的抖动。ZooKeeper 会话超时时间客户端是可以设置的,我建议结合你的网络状况来调整。如果集群和微服务在同一个内网且很稳定,10 秒没问题;如果跨机房、或者网络偶尔有抖动,建议把 sessionTimeout 放大到 30 秒到 60 秒。ZooKeeper 服务端默认限制这个值在 2 到 20 个 tickTime 之间,也就是 4 到 40 秒,你需要同时调整服务端的 maxSessionTimeout,或者干脆把 tickTime 调大一点。
另外一点,session expired 之后,客户端框架要能自动重新建立会话并重新注册所有 Watcher。宝兰德 V11.5.0 内置的客户端有自动重连和重新订阅机制,但我们自己写的一些自定义监听器在重连后没有正确处理重建逻辑,出现过漏监听的情况。这个如果你也在用自定义 Watcher,一定要做重连后的重建测试。
6.2 配置覆盖顺序导致的“灵异事件”
有段时间我发现一个奇怪现象:某个服务明明在 ZooKeeper 上配置了新的 Redis 地址,但服务实际连接的还是旧地址。查了配置,ZooKeeper 节点上数据是对的,本地配置文件也是对的,但生效的就是不对。
最后定位到问题出在配置的加载顺序上。宝兰德 V11.5.0 的配置优先级是远端 ZooKeeper 配置覆盖本地配置,但有一个例外——应用包内的配置如果用了加密或者特殊占位符,可能不会被远端配置覆盖,因为框架在解析的时候认为这是“本地特殊配置”,不属于普通的 properties 项。
这个问题的排查过程很痛苦,我当时的排查链路是:先确认 ZooKeeper 节点数据正确,再确认服务启动日志里加载了远端配置,然后怀疑是缓存问题,重启服务依然无效,最后把配置项一个个对比才发现了这个覆盖规则的例外。所以现在我们的做法是,所有配置项的 key 必须统一规范,不以特殊前缀开头,避免命中国际化或加密封装等特殊处理规则。配置文件里也加了注释,提醒所有人不要用大写的、带前缀的配置名。
6.3 权限 ACL 和敏感配置的加密处理
ZooKeeper 默认没有鉴权,任何能连上 2181 端口的客户端都能读写任意节点。如果你的 ZooKeeper 集群只有微服务在用,而且网络做了隔离,问题不大。但一旦配置中心里有了数据库口令、密钥这类敏感信息,就必须做权限控制。
ZooKeeper 的 ACL 是基于“路径”和“认证信息”的。最简单的做法是开启 digest 认证,为每个环境设置独立的账号密码。比如:
bash复制# 添加认证用户 admin
addauth digest admin:admin123
# 设置 /bes/config 节点的 ACL,只有 admin 用户有读写权限
setAcl /bes/config world:anyone:c,digest:admin:加密串:rwcda
客户端连接的时候也要带上认证信息,宝兰德控制台里的 ZooKeeper 配置支持填写用户名密码,填上之后客户端连接时会自动执行 addauth。开启 ACL 之后,要记得对已有的节点递归设置 ACL,只设置根节点是不行的,子节点会继承创建时刻的 ACL,已经存在的子节点不会自动变。
敏感配置本身的加密也不要省。我们的做法是数据库密码、密钥这类信息不直接以明文存在 ZooKeeper 节点上,而是先用公司内部的加密服务加密成密文,配置中心里存密文;应用启动时通过解密服务还原。这个方案成熟可靠,而且只要保证解密服务的高可用,对应用的影响几乎为零。
6.4 集群节点数和脑裂的关系
前面说三台 ZooKeeper 是最常见的部署方式,这里补充一个为什么必须“奇数节点”的解释。ZooKeeper 用的是 Zab 一致性协议,集群必须有过半节点可用才能正常提供读写服务。三台机器,允许挂一台;五台机器,允许挂两台;四台机器也只允许挂一台,所以四台并不会比三台更安全,反而更浪费资源。
脑裂场景是我在方案评审时被问得最多的问题:ZooKeeper 会不会出现集群分裂成两半、两边同时都用?答案是 Zab 协议从机制上杜绝了这个问题,因为任何一边只要不过半,就无法选举出 Leader,也就不能对外提供服务。但这里有一个容易被忽略的点:如果 ZooKeeper 集群中 Leader 挂了,剩余节点重新选举期间,整个集群会短暂不可用,此时微服务如果正好在做配置读取或注册,就会受到影响。所以 ZooKeeper 集群确实需要监控告警,重点关注“当前是否有 Leader”“节点数是否超过半数”这两个指标。
6.5 版本升级的兼容性问题
后面我们还做了一次 ZooKeeper 3.6 到 3.8 的滚动升级。升级过程本身不复杂,逐台关、逐台启,每台的启动顺序是先启动 ZooKeeper,再启动微服务连接,但有几个细节值得注意。
第一,升级前一定要确认宝兰德 V11.5.0 的客户端驱动兼容新的服务端版本,我们当时是先在测试环境升级了 ZooKeeper,跑了两天应用,确认所有功能正常,才敢动生产。第二,多版本客户端混跑的场景下,旧客户端连新服务端一般不会有问题,但反过来新客户端连旧服务端可能会出现协议不兼容,所以升级的顺序必须是服务端优先、客户端跟上。第三,ZooKeeper 的数据目录格式在版本升级时通常兼容,但保险起见,升级前还是要把 dataDir 整个备份一份,以防万一。
写在最后的运维检查清单
接入 ZooKeeper 配置中心半年多,整体收益非常明显:配置变更时间从“改配置+重启+验证十几分钟”缩短到“改一下几秒钟生效”;多环境配置不一致的问题基本绝迹;扩容新节点时,新服务启动就能从配置中心拉到一套完整配置,不用人工一台台配置。但收益背后也带来了一些新的运维要求,这里分享几个我每天都在用的检查清单,帮大家少走弯路:
- ZooKeeper 集群的 Leader、节点数、连接数、Watch 数量每天至少盯一次,推荐接入告警,异常时第一时间收到通知。
- 配置变更尽量走管理平台或者脚本,不要直接登录 zkCli 手工 set,至少留一份审计记录。
- 新建服务时,先在 ZooKeeper 上初始化好配置节点再启动服务,避免服务启动后发现配置缺失。
- 改完配置之后,不要只盯着那个服务看,要确认所有订阅该配置的服务都刷新成功。
- 定期检查 ZooKeeper 的 dataDir 磁盘空间和快照清理情况。
配置中心是微服务架构的一根拐杖,架好了能让你走得稳,架不好反而会绊你一跤。以上这些经验都是我们在真实环境里一步步趟过来的,希望能给正在做宝兰德微服务版配置中心接入的同学提供一些参考。如果你也在迁移过程中遇到过上面没提到的坑,欢迎一起交流。
