那天晚上九点四十七分,我盯着监控大屏上的告警,心里一阵发毛——订单号出现了重复,而且不止两条。分库分表上线三个月,全局唯一ID这个环节,在最不该出问题的时候出了问题。排查到最后,问题指向服务器系统时间回拨。其实那台机器只是被NTP校准了一下,时间往后退了几十毫秒,雪花算法的生成器就“罢工”了,而应用层在捕获异常后降级成了时间戳加随机字符串的方案,结果在多实例下直接撞车。
这件事之后,我把雪花算法从“会用”到“弄懂”到“能自己动手改”整个走了一遍。如果你也在做分库分表,或者正在纠结全局唯一ID到底怎么选,这篇东西值得你看完。我尽量把原理讲透,把代码写成可以直接抄作业的样子,也把那些文档里不会写的坑一并说出来。
1. 分库分表后,主键设计的“易碎品”清单:自增ID、UUID和随机拼接
1.1 一条自增ID在8库16表面前的分裂现场
没分库分表之前,MySQL自增ID几乎是所有项目的默认选择。它简单、有序、对索引友好,插入的时候完全不用动脑子。但当你把一张表拆成8个库、每库16张表之后,问题立刻就摆到了桌面上:每张子表都有自己的AUTO_INCREMENT计数器,各自从1开始。你在订单表1里插入一条ID=1,在订单表2里也插入一条ID=1,等这些数据汇总到大数据平台或者做跨库查询时,两条ID=1的订单就“撞”了。
有人会想到“设置不同步长”,比如库1的表从1开始每次加8,库2的表从2开始每次加8。这在扩容之前是能用的,可一旦你得从8库扩到16库,步长和起始偏移全部要重新算,历史数据怎么迁移?新老规则怎么衔接?光是想想就头大。
说到底,自增ID的最大问题是:它的“全局唯一”建立在单表单库的边界之内。分库分表把这个边界拆碎了,自增ID的根基也就没了。这不是配置问题,而是模型问题。
1.2 UUID和Redis自增各自的硬伤
自增ID出局之后,很多人第一反应是用UUID。UUID v4是随机生成的,32位十六进制加4个连字符,总共36个字符,人类没法直接读懂,但起码全球唯一。可UUID的代价也很明确:
- 存储空间大。36个字符,就算去掉连字符也有32字节,是BIGINT的4倍。
- 完全无序。InnoDB的聚簇索引是按主键顺序维护B+树的,UUID这种随机值会让索引页频繁分裂,插入性能随着数据量增长直线下滑。
- 没有时间语义。出事排查的时候,你看着一串UUID根本不知道它是什么时候生成的。
再说Redis自增。用Redis的INCR命令拿一个全局递增数字,看起来好像平衡了唯一性和有序性。但仔细想一下:
- 每次生成ID都要走一次网络往返,延迟从本地纳秒级跳到了毫秒级,甚至更高。
- Redis本身要保证高可用,否则Redis挂了,整个写入链路都断了。
- 最怕的是Redis持久化配置不当,主从切换之后计数器回退,直接产生重复ID。
我在生产环境见过不少团队用Redis生成ID,最后都因为可用性或数据一致性要求被迫换掉。Redis适合做缓存、做分布式锁,但把它当成ID发号器,本质上是给核心链路引入了一个外部依赖。
1.3 全局唯一ID必须满足的五条铁律
把自增ID、UUID、Redis自增都排除之后,你会发现,一个合格的全局唯一ID方案,需要同时满足下面几条:
- 全局唯一。这个不用解释,重复就是事故。
- 趋势递增。至少要有序或者近似有序,否则数据库索引扛不住。
- 高可用。不能在生成ID这个环节引入单点,也不能因为外部依赖抖动导致业务不可用。
- 低延迟。生成过程最好只在本机完成,不依赖网络请求。
- 占用空间小。最好是BIGINT(8字节)级别,方便存B+树,也方便上层传输。
把这五条摆在桌面上,你会发现市面上的方案里,雪花算法几乎是唯一一个能全部满足的。它只需要在本地做几次位运算和一次系统时间读取,不
