先讲个真实场景。有次前端同事拿了一串字符串来找我,一脸严肃:“后端你看,屏幕上明明就 1 个表情符号,为什么打印出来 length 是 11?是不是哪里把数据搞脏了?”我接过来一看,实际是一串由男人、女人、女孩、男孩加上零宽连接符组合成的“家庭”表情。没坏,也没被注入,真正的问题是——我们对“字符串长度”的理解,从一开始就漏了很多层。
这个场景几乎每个开发都遇到过。同一个字符串,你用不同语言去数,得到的结果可能完全不一样。JS 里数出来是 11,Python 里数出来是 7,Go 里跑一下是 22,放进数据库看又是一套数字,而用户用眼睛数,就是一个字符。同一份数据,长度却有这么多答案,这就是所谓的“长度谎言”。
这篇文章我想把这些坑一次性说清楚,从编码原理讲到代理对,再讲 ZWJ 序列,最后给出跨端校验、截断、排序的实操方案。不管你是前端、后端还是 DBA,只要和字符串打过交道,这篇文章你都用得上。
1. 字符串长不长的真相:一个长度,四种算法
1.1 我们平时说的“长度”到底是哪个长度
字符串长度这个概念,得先拆开看。在 ASCII 时代,一切都很简单,一个字符占一个字节,str.length 等于字节数,等于屏幕上占的位置,谁也不骗谁。但 Unicode 出现之后,世界就复杂了,因为同一个字符串,至少存在四种合法且不同含义的长度:
第一种是字节数。字符串在内存或磁盘里的物理体积,取决于编码方式。UTF-8 下中文一般 3 字节,很多 emoji 占 4 字节;UTF-16 下又是另一个数字。
第二种是码点数,也就是 Unicode 里给每个字符分配的编号个数。比如男人表情 U+1F468 是一个码点,零宽连接符 U+200D 也是一个码点。如果一个字符串由 7 个这种东西组成,码点数就是 7。
第三种是代码单元数,这是最容易引起误会的。很多编程语言的字符串类型其实是按 UTF-16 存的数据,比如 JavaScript、Java、C#。UTF-16 里,大多数常用字符是一个码点对应一个代码单元,但超出 BMP(基本多语言平面)的字符,比如大部分 emoji,一个码点会被拆成两个代码单元。于是同一个字符串的“长度”数字就变了。
第四种是字素簇数,也就是用户用眼睛看到的字符数。多个码点组合在一起,在渲染层呈现出一个完整的视觉单元,比如一个戴着帽子的女性、一个四口之家,都被看作 1 个“字素簇”。
这四层的关系,可以拿一栋楼来类比:字节数是楼里所有房间占多少堆放空间,码点数是房间数,代码单元数是门牌号系统的编号个数,字素簇才是你站在街对面看到的“这栋楼有几户人家”。四层都是真实存在的,只是大家在聊“长度”的时候没说明白到底在数哪一层。
1.2 为什么不同语言返回的长度不一样
现在的关键问题是:我们写代码时随手调一个 length,它到底返回的是哪一层?这完全取决于语言设计者的历史决策。
我整理了一张常用语言/数据库的“长度”对照表,方便你心里有数:
| 语言 / 接口 | len 或 length | 计数单位 |
|---|---|---|
JavaScript str.length |
11 | UTF-16 代码单元 |
Java String.length() |
11 | UTF-16 代码单元 |
C# str.Length |
11 | UTF-16 代码单元 |
Python 3 len(str) |
7 | Unicode 码点 |
Go len(str) |
22 | 字节 |
Rust str.len() |
22 | 字节 |
Swift str.count |
1 | 字素簇(用户可感知字符) |
MySQL CHAR_LENGTH() |
7 | 字符(码点) |
MySQL LENGTH() |
22 | 字节 |
SQL Server LEN() |
7 | 字符 |
SQL Server DATALENGTH() |
22 | 字节 |
同一个字符串,在不同的语言里能数出 11、7、22、1 这四种结果。这就是“长度谎言”的根源:不是某一个语言算错了,而是它们各自把“长度”定义成了不同的东西。以前端最常见的 JavaScript 为例,String.length 的标准定义就是代码单元数,一段由 7 个码点组成的家庭表情序列,在 UTF-
