写这篇的时候,我刚把即时通讯服务端的依赖组件重新梳理了一遍。之前在本地开发环境里,我习惯用redis或者直接数据库轮询来做服务发现,但到了多实例部署阶段,这套方案马上就成了瓶颈。所以这次环境搭建系列的第二篇,我决定把etcd单独拎出来讲。如果你正在做IM系统,或者任何需要多节点协调的分布式服务,etcd基本上是你绕不开的基础设施。这篇东西不会讲太多虚的,全部是在真实环境里跑过的步骤和踩过的坑,你可以直接照着操作。
1. 为什么即时通讯系统需要etcd
1.1 从单机到集群,服务发现成了第一个拦路虎
一开始做IM系统的时候,服务端就一个实例,客户端连上来,我直接在配置里写死IP和端口,逻辑简单粗暴。但随着用户量上来,单机撑不住了,必须把服务拆成多个节点,这时候问题就来了:客户端怎么知道该连哪台服务器?网关层怎么知道哪些节点在线?
有人会说,这不就是加一层nginx反向代理的事吗?HTTP服务确实可以这么干,但IM系统走的是长连接,尤其是WebSocket或者自定义TCP协议,连接一旦建立就长时间保持。如果某个节点挂了,客户端需要感知到并且迁移到其他节点,这就不只是负载均衡能解决的问题了,你需要一个能实时感知节点上下线,并且把这个状态同步给所有相关组件的机制。etcd干的就是这件事。
1.2 etcd在IM系统架构里扮演的角色
用一句话概括,etcd是一个高可用的分布式键值存储系统,但IM系统真正看重它的,并不是存储本身,而是它提供的三个核心能力:服务注册与发现、配置中心、分布式锁与选主。
服务注册与发现这块,每个IM节点启动后把自己的IP和端口注册到etcd里,同时维持一个租约(lease),节点挂掉后租约过期,etcd自动把这个节点信息删掉。网关或者其他服务通过watch机制实时感知节点列表的变化,这样就实现了自动化的上下线感知。
配置中心也好理解,比如IM系统里有一些全局配置,像消息超时时间、心跳间隔、离线消息保留时长之类的东西。这些配置散落在各个节点里,改起来很痛苦。etcd可以把这些配置集中管理,节点启动时拉取,运行中通过watch实时更新,不用重启服务。
分布式锁和选主在IM系统里也是刚需。比如多个聊天服务节点同时处理消息时,某些任务只能有一个节点去执行,像群聊消息的持久化归档、离线消息的清理任务,这些场景都需要用到分布式锁。
1.3 为什么选了etcd而不是zookeeper或者consul
这个选型问题我在项目初期纠结了很久。ZooKeeper是老牌选手,功能稳定,但Java技术栈的依赖比较重,运维起来相对麻烦。Consul的UI很棒,功能也全,但当时它的文档和社区对Go技术栈的适配没有etcd那么顺滑。etcd是Go写的,单二进制文件部署,安装极其简单,接口是gRPC + RESTful,对开发者非常友好。更关键的是,Kubernetes底层用的就是etcd,这意味着它在生产环境中的可靠性已经被大规模验证过了,社区活跃度也不是另外两个能比的。
对于IM系统这种需要频繁读写、小数据量、强一致性的场景,etcd的watch机制和lease机制简直就是量身定做的。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与版本选型
2.1 服务器规划和操作系统要求
我这次搭建的环境是三台Ubuntu 22.04的服务器。为什么是三台?因为etcd集群的最小高可用规模就是3节点,这也是生产环境中最推荐的方式。1个节点挂了,集群还能正常工作。
操作系统方面,etcd官方支持Linux、macOS和Windows,但如果跑生产环境,老老实实用Linux。Ubuntu 22.04也好,CentOS 7/8也好,其实没有本质区别,etcd的部署方式都是拷贝二进制文件,几乎没有系统依赖。唯一要注意的是文件系统,建议使用ext4或者xfs,别用什么特殊的网络文件系统,etcd对磁盘延迟很敏感。
2.2 版本选择策略:稳定版优先,别当小白鼠
etcd的版本迭代很快,目前主流的稳定版本是3.5.x系列。我在写这篇的时候,3.5系列已经比较成熟,3.4版本虽然也还在维护,但功能上确实不如3.5全面。具体到小版本,我建议不要一上来就追最新,而是稍微滞后一个版本,等社区踩完了坑再上。
etcd 3.5版本之后,v3 API成了默认的通信协议,老的v2 API基本已经废弃。如果你在网上搜教程,看到etcdctl命令还带ETCDCTL_API=3这种环境变量前缀的,说明那篇文章已经很老了,建议直接跳过。现在的etcdctl默认就走v3协议,不需要再手动指定。
2.3 下载安装包还是编译源码
网上很多教程推荐直接源码编译,我个人觉得没必要。etcd官方已经提供了编译好的二进制包,直接用就好。源码编译浪费时间是一方面,更重要的是,你要自己处理各种依赖和版本兼容问题,纯属给自己找麻烦。
我当时的做法是直接去GitHub的官方release页面下载对应的版本。下载的时候注意区分平台,服务器是amd64架构的就选linux-amd64的包,arm架构的选linux-arm64。这个看起来很简单,但我见过不少人在这里翻车,下错架构包导致启动报"exec format error"。
3. 单机模式安装与配置
3.1 二进制方式部署etcd步骤详解
在正式搞三节点集群之前,我建议先在单机上把etcd跑起来,验证一下整个流程走通没有。单机部署的步骤如下:
第一步,下载并解压etcd二进制包。
bash复制# 我这里用的是3.5.9版本,你可以去GitHub releases页面找最新的稳定版
wget https://github.com/etcd-io/etcd/releases/download/v3.5.9/etcd-v3.5.9-linux-amd64.tar.gz
tar -xzvf etcd-v3.5.9-linux-amd64.tar.gz
cd etcd-v3.5.9-linux-amd64
第二步,把二进制文件复制到系统的PATH目录下,这样全局都能直接执行etcd命令。
bash复制sudo cp etcd etcdctl /usr/local/bin/
复制完以后验证一下版本:
bash复制etcd --version
etcdctl version
正常情况下,你会看到输出里包含etcd Version: 3.5.9和Git SHA等信息。如果提示找不到命令,检查一下/usr/local/bin是否在PATH环境变量里。
第三步,创建etcd的数据目录和配置文件目录。
bash复制sudo mkdir
