SQL里的正则表达式这东西,属于那种"没用过觉得没必要,用过了就回不去"的功能。我最早接触SQL中的REGEXP,是因为一次数据清洗——一张几百万行的用户表里,手机号字段填得乱七八糟,有带横杠的、有带空格的、有混进去字母的,用LIKE加通配符根本没法优雅处理。后来用REGEXP一条语句把合规和不合规的数据全筛出来了,效率提升几个量级。从那之后,凡是遇到"格式匹配"类的SQL需求,REGEXP几乎是第一选择。
这篇文章就围绕SQL中REGEXP的实战用法展开,从基础语法、不同数据库的差异、性能问题到常见坑位,把我这些年踩过的坑和沉淀下来的写法一次性说清楚。适合正在做数据清洗、日志分析、报表开发、后台管理的开发者和数据分析师,也适合刚学SQL不久、想搞懂正则匹配怎么用的初学者。
1. 为什么SQL里要做正则匹配:LIKE的局限与REGEXP的出场时机
1.1 一个逼出REGEXP的真实场景
先说一个我曾经接到的需求:运营部门给了一张渠道注册表,要统计其中"看起来像是QQ邮箱"的注册用户。当时表里的邮箱字段长这样:
sql复制-- 示例数据
zhangsan@qq.com
lisi_001@QQ.COM
wangwu@vip.qq.com.cn
zhaoliu#qq.com
unknown@unknown.com
NULL
用LIKE怎么查?最快想到的是 LIKE '%@qq.com',但这样会漏掉 @QQ.COM(如果默认排序规则区分大小写)和 @vip.qq.com.cn,而且还可能把 unknown@unknown.com 这种错误格式带进来。如果你尝试用多个OR加LIKE去硬凑:
sql复制WHERE email LIKE '%@qq.com'
OR email LIKE '%@QQ.COM'
OR email LIKE '%@vip.qq.com.cn'
这么写不仅啰嗦,而且后续再来一种新格式又得改SQL。更关键的是,LIKE压根没表达出"QQ邮箱的完整规则"——它只能做简单的通配匹配,不能表达"@符号前后什么字符允许出现、域名部分有多少段、每段多长"这类规则。这个场景就是REGEXP的典型使用场景:规则匹配。
1.2 LIKE与REGEXP的本质区别
从根本上说,LIKE支持的通配符只有三个:%(任意长度)、_(单个字符)、以及转义字符(默认是反斜杠)。它是SQL标准里的"简单模式匹配",实现简单、性能可控,但也仅此而已。
REGEXP是正则表达式引擎,支持字符类、数量词、分组、锚点、反向引用、前后查找等完整语法。在SQL语境下,你可以把REGEXP理解为:给SQL装了一台完整的模式匹配小引擎,而LIKE只是一把带了三个键的简易遥控器。
两者本质区别可以从几个维度看:
| 对比维度 | LIKE | REGEXP |
|---|---|---|
| 匹配语义 | 全字段通配,通常要配合%"补全" |
子串匹配,只要字段内任意一段符合即返回真 |
| 表达力 | 仅%和_ |
字符类、量词、分组、锚点、前后查找等 |
| 大小写规则 | 依赖字段排序规则(collation) | 同样依赖排序规则,但可用写法绕过 |
| 索引使用 | 前缀匹配(如LIKE 'abc%')可走索引 |
通常无法走索引 |
| 适用数据库 | 几乎所有数据库 | MySQL、PostgreSQL等原生支持,SQL Server需配合CLR或函数 |
这一个表基本回答了一个高频问题:"为什么我知道两个都能匹配,但REGEXP能做的LIKE做不了?"答案就是:LIKE是语法糖层面的通配,REGEXP是完整的状态机匹配。
1.3 REGEXP能解决的核心问题清单
基于我的使用经验,SQL里的REGEXP主要集中在以下几种需求:
- 格式校验:判断字段是不是合法的手机号、邮箱、IP地址、身份证号。
- 数据清洗:从混合文本中挑出包含特定模式的记录,或者在UPDATE中直接根据正则改写字段。
- 日志分析:从接口日志表里筛出特定URL模式、特定异常码组合。
- 权限与安全过滤:识别恶意的SQL注入特征串,比如常见拼接关键字。
- 搜索推荐:不引入全文检索引擎时,用正则实现轻量级的关键词匹配、同义匹配。
这些场景有一个共性:规则本身是可枚举的、有明确模式,但规则的组合方式千变万化。用LIKE会写出长长的OR链,用正则一行搞定。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. REGEXP核心语法拆解:从普通字符到复杂模式
2.1 字符匹配、字符类、数量词:从最简单的写起
SQL中REGEXP的基础语法与常规正则表达式基本一致。以MySQL为例,最基础的用法是:
sql复制SELECT 'hello' REGEXP '^h'; -- 返回1
SELECT 'hello' REGEXP 'o$'; -- 返回1
SELECT 'hello' REGEXP '[a-z]'; -- 返回1
很多人第一次写REGEXP时,最大的困惑是:为什么 'hello' REGEXP 'h' 返回1?原因上文提过——REGEXP默认是子串匹配,只要目标字符串里任意位置包含匹配模式就返回真。想表达"整个字符串完全匹配",必须写锚点:
sql复制-- 完全匹配hello
SELECT 'hello' REGEXP '^hello$'; -- 1
SELECT 'hello11' REGEXP '^hello$'; -- 0
字符类是最常用的结构。[0-9]匹配数字、[a-zA-Z]匹配字母、[^0-9]匹配非数字。数量词方面,*表示0次或多次,+表示1次或多次,?表示0次或1次,{n}表示恰好n次,{n,}表示至少n次,{n,m}表示n到m次。
举个完整例子,判断一个字段是不是"1个字母开头,后面跟4到8个数字":
sql复制SELECT 'A12345' REGEXP '^[a-zA-Z][0-9]{4,8}$'; -- 1
SELECT '12345' REGEXP '^[a-zA-Z][0-9]{4,8}$'; -- 0
实操建议:先小步验证。别一上来就写几十个字符的长正则,先在SELECT里用字面量测试每个片段,组合之后再放到WHERE条件里跑全表。
2.2 分组、锚点、反向引用,以及MySQL 8的语法变化
分组的作用有两个:一是提取(在支持提取的上下文里),二是对一组字符整体施加数量词。在SQL中的REGEXP场景下,MySQL的REGEXP操作符本身只返回0/1,不负责提取匹配内容,但分组依然对匹配逻辑很重要:
sql复制-- 匹配连续两个ab
SELECT 'abab' REGEXP '^(ab){2}$'; -- 1
SELECT 'ab' REGEXP '^(ab){2}$'; -- 0
锚点主要用于框定匹配范围。^匹配字符串开头,$匹配字符串结尾。在一些数据库的REGEXP实现中,$默认匹配字符串末尾(可匹配末尾换行符之前的位置),这一点要留意。
反向引用是REGEXP中容易忽视却很有用的能力。MySQL的正则引擎支持 \1、\2 这样的反向引用,用来匹配前面分组捕获到的相同内容:
sql复制-- 匹配重复两次的单词,中间用空格分隔
SELECT 'abc abc' REGEXP '^([a-z]+) \\1$'; -- 1
SELECT 'abc def' REGEXP '^([a-z]+) \\1$'; -- 0
注意SQL字符串中的转义问题:正则引擎看到的 \1 在SQL字符串里需要写成 \\1,否则会被字符串解析层吃掉。这是很多人踩坑的地方,后面章节专门讲。
MySQL 8.0开始引入了一个重要变化:REGEXP操作符的语法更接近ICU正则库,同时新增了 REGEXP_LIKE、REGEXP_REPLACE、REGEXP_SUBSTR、REGEXP_INSTR 等函数。从8.0.4起,MySQL的REGEXP不再支持旧版C库中的一些写法(例如某些字符类变体),所以从MySQL 5.7迁移到8.0时,正则语句要回归测试一遍。这一点不仅在升级时会遇到,也常出现在"代码本地跑正常、上线后就不匹配"的排查中。
2.3 大小写、换行、中文匹配的细节
大小写是SQL正则最容易忽略的坑。MySQL的REGEXP默认不区分大小写,因为默认的collation是ci(case-insensitive)的。想区分大小写,在MySQL里可以配合 BINARY 关键字:
sql复制SELECT 'ABC' REGEXP BINARY '^abc'; -- 0
SELECT 'ABC' REGEXP '^abc'; -- 1
PostgreSQL则相反,~ 操作符默认区分大小写,~* 才是不区分大小写:
sql复制SELECT 'ABC' ~ '^abc'; -- false
SELECT 'ABC' ~* '^abc'; -- true
这种"不同数据库默认行为相反"的差异,在写跨库脚本时简直是暗坑。我习惯在代码注释里显式标注当前依赖的大小写行为,防止同事迁移时踩雷。
换行方面,MySQL的 . 默认不匹配换行符。如果要跨行匹配,需要使用 (?s) 这类内联修饰符(MySQL 8.0+ 支持部分内联选项),或者用 [\\s\\S] 代替点号。
中文匹配:[一-龥] 是常见写法,但依赖编码范围,实际上在UTF-8下建议用更精确的字符区间,或者直接用业务侧校验。SQL里做中文正则匹配时,性能往往也不好,能避免就避免。
3. 实战:日志表、清洗表、搜索场景中的REGEXP写法
3.1 日志表里提取IP地址和邮箱
日志表结构一般长这样:
sql复制CREATE TABLE access_log (
id BIGINT PRIMARY KEY,
log_text TEXT,
created_at DATETIME
);
现在要筛出所有包含"看起来像IPv4地址"的记录。IPv4正则的经典写法:
sql复制SELECT id, log_text
FROM access_log
WHERE log_text REGEXP
'((25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])\\.){3}(25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])';
这个正则的核心是"段"的匹配:25[0-5]匹配250-255,2[0-4][0-9]匹配200-249,1[0-9]{2}匹配100-199,[1-9]?[0-9]匹配0-99。整体分成4段,用点号连接。实际用时你会发现在SQL字符串里点号必须写成 \\.,因为正则里的点号在字符串里会被转义逻辑处理,这也是个高频坑。
邮箱提取更常见。一个宽松版邮箱正则(满足大多数日志分析场景即可,没必要追求完美RFC):
sql复制SELECT id, log_text
FROM access_log
WHERE log_text REGEXP
'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}';
注意这里的域名部分写了 [a-zA-Z0-9.-]+ 是为了避免 unknown@unknown 这种缺少顶级域的情况。实际使用时如果误报太多,可以再加上后缀白名单。但这种写法有个副作用:[a-zA-Z0-9.-]+ 可能会在句子末尾句号处贪心吃到多余字符,需要配合 [[:>:]] 这类词边界(MySQL支持 [[:<:]] 和 [[:>:]])控制。
3.2 数据清洗:格式校验与字段改写
数据清洗场景里,REGEXP通常和UPDATE语句搭配。比如把手机号字段里所有非数字字符去掉:
sql复制-- MySQL 8.0+ 用REGEXP_REPLACE
UPDATE user
SET phone = REGEXP_REPLACE(phone, '[^0-9]', '')
WHERE phone REGEXP '[^0-9]';
这条语句的威力在于:不用逐行看数据,一条SQL把所有带横杠、空格、括号的号码全部标准化。注意第二行的WHERE条件只对那些"包含非数字字符"的行做更新,避免无谓的全表写操作,也减少binlog体积。
另一个常见需求是给字段做格式归类。比如根据地址文本判断用户属于哪个区域层级:
sql复制SELECT
CASE
WHEN address REGEXP '北京市|北京市?' THEN '北京'
WHEN address REGEXP '上海市|上海市?' THEN '上海'
ELSE '其他'
END AS region,
COUNT(*)
FROM user
GROUP BY region;
这类"CASE WHEN + REGEXP"的组合是报表开发里非常实用的技巧。需要注意的一点:正则和LIKE在CASE里的可读性差距很明显,同一个需求用LIKE写会变成一长串OR,维护起来很痛苦,而CASE WHEN REGEXP只需要维护规则列表。
3.3 搜索推荐里的轻量级模糊匹配
在没有接入Elasticsearch这类全文检索引擎的情况下,REGEXP可以充当"轻量级模糊搜索"。比如商品表里要匹配"红色"、"蓝色"、"黑色"相关关键词,且要支持中英文混合:
sql复制SELECT id, product_name
FROM product
WHERE product_name REGEXP '红|蓝|黑|red|blue|black';
这个写法简单粗暴,在几千、几万行的表上性能可以接受,但到了几十万行以上就需要小心了(性能问题在第五章详细讲)。还有一个变体是配合 REGEXP 做"前缀/中缀/后缀"匹配,模拟搜索引擎的query扩展:
sql复制-- 匹配以特定前缀开头,后面跟0到3个任意字符的商品
SELECT id, product_name
FROM product
WHERE product_name REGEXP '^iphone[0-9]{0,3}';
这种写法在联想搜索场景中相当好用,但前提是数据量可控。数据量一大,还是得考虑上专门的搜索引擎或者至少用前缀索引加LIKE。
4. 不同数据库的REGEXP差异:MySQL、PostgreSQL、SQL Server、SQLite
4.1 MySQL的REGEXP、RLIKE与8.0+函数家族
MySQL应该是国内使用最广的数据库,这里重点展开。MySQL中 REGEXP 和 RLIKE 是同一个意思,可以互换。它们返回0或1,属于谓词操作符而非函数。MySQL 8.0以后,新增了一整套正则函数,这才是处理数据清洗时的王牌:
REGEXP_LIKE(expr, pat):等价于expr REGEXP pat,返回0/1。REGEXP_SUBSTR(expr, pat):返回第一个匹配的子串。REGEXP_INSTR(expr, pat):返回匹配子串的起始位置。REGEXP_REPLACE(expr, pat, repl):把匹配的部分替换成指定字符串。REGEXP_COUNT(expr, pat):统计匹配次数。
实际用的最多的是 REGEXP_SUBSTR 和 REGEXP_REPLACE。比如从日志表里抽出所有IP地址:
sql复制SELECT
id,
REGEXP_SUBSTR(log_text, '((25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])\\.){3}(25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])') AS ip
FROM access_log
WHERE log_text REGEXP '((25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])\\.){3}(25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])';
注意:MySQL 8.0的REGEXP_SUBSTR默认只返回第一个匹配,且不支持捕获组返回(不像某些语言可以用 \1 提取分组)。如果你需要提取分组内容,通常要写更细的正则把目标部分单独括出来,然后整体返回。
4.2 PostgreSQL的~操作符与SIMILAR TO
PostgreSQL对正则的支持比MySQL更"正统"——它直接沿用POSIX正则标准,操作符是 ~(区分大小写)和 ~*(不区分大小写),反向匹配用 !~ 和 !~*:
sql复制-- PostgreSQL写法
SELECT 'abc' ~ '^a'; -- true
SELECT 'ABC' ~* '^a'; -- true
SELECT 'ABC' !~ '^a'; -- true
PostgreSQL还提供 regexp_matches、regexp_replace、regexp_split_to_table 等函数,功能比MySQL更丰富。尤其是 regexp_split_to_table,可以把一个字符串按正则拆成多行,处理逗号分隔、竖线分隔的数据非常方便。
PostgreSQL里还有一个容易混淆的东西:SIMILAR TO。这是SQL标准里的"正则风格模式匹配",语法介于LIKE和正则之间,比如:
sql复制SELECT 'abc' SIMILAR TO 'a%'; -- true
SELECT 'abc' SIMILAR TO '(a|b)c'; -- true
我的建议是:能用正则就别用SIMILAR TO。它语法不伦不类,在很多数据库里的实现也不一致,等你从PostgreSQL迁移到其他数据库时会非常痛苦。直接统一用 ~ 和 ~*,写法更清晰。
4.3 SQL Server和SQLite:没有原生REGEXP怎么办
SQL Server原生不支持REGEXP操作符,这是让很多人头疼的地方。常用的替代方案有三个:
第一,用LIKE加一堆通配符硬凑。适合简单场景,但表达力有限。
第二,用CLR集成,把.NET的正则表达式能力嵌入SQL Server。这个方案功能强,但是部署麻烦(需要配置CLR权限),维护成本也高。
第三,也是我推荐大部分场景采用的方案:在应用层或者ETL层做正则匹配。既然SQL Server不支持,就把原始数据拉到应用层,用C#、Java、Python处理完再写回。或者直接在查询前过滤一批明显不需要正则的粗糙条件,减少数据量,再用应用层正则精确匹配。这样既绕开了数据库的限制,又能利用成熟的正则引擎。
SQLite同样没有内置REGEXP操作符,但它留了个扩展点:默认 REGEXP 未实现,你可以通过自定义函数在连接层注册一个。在Python的 sqlite3 模块里可以这样:
python复制import sqlite3
import re
conn = sqlite3.connect(':memory:')
conn.create_function('REGEXP', 2, lambda pattern, value: re.search(pattern, value or '') is not None)
cursor = conn.execute("SELECT 'hello' REGEXP '^h'")
print(cursor.fetchone()[0]) # 1
这个办法在SQLite的嵌入式场景很实用,尤其是在做本地工具、移动端数据库时。
4.4 不同数据库的语法差异对照表
跨数据库写脚本时,最容易踩的坑就是正则语法和函数名的差异。整理一份常用对照表供参考:
| 操作 | MySQL | PostgreSQL | SQL Server | SQLite(自定义) |
|---|---|---|---|---|
| 匹配判断(区分大小写) | REGEXP BINARY |
~ |
不支持原生 | REGEXP |
| 匹配判断(不区分大小写) | REGEXP |
~* |
不支持原生 | REGEXP |
| 替换 | REGEXP_REPLACE (8.0+) |
regexp_replace |
无原生 | 自定义 |
| 提取子串 | REGEXP_SUBSTR (8.0+) |
regexp_matches |
无原生 | 自定义 |
| 拆分多行 | 不支持 | regexp_split_to_table |
无原生 | 自定义 |
| 匹配开头/结尾 | ^ / $ |
^ / $ |
不支持原生 | ^ / $ |
| 字符类 | [a-z] |
[a-z] |
不支持原生 | [a-z] |
| 大小写写法 | 默认ci,需BINARY | 默认cs,需~* |
不支持原生 | 默认依赖regex库 |
从表格可以看出,真正把正则做成"数据库一等公民"的主要是MySQL和PostgreSQL。如果你的项目在数据库选型阶段就预见到大量正则需求,优先考虑PostgreSQL,它的正则支持更标准、函数更丰富。
5. 性能陷阱与优化思路:为什么REGEXP不总是最好的选择
5.1 索引失效的本质:正则匹配为什么走不了索引
很多人在SQL里用REGEXP之前会问:能用索引吗?答案是:通常不能。原因在于,REGEXP的目标是在字段值内部做模式匹配,而传统的B+树索引是基于前缀排序的。对于 ^abc 这种锚定开头的正则,理论上可以借助索引前缀,但MySQL的优化器并不会这样做,而是直接把整个字段扫一遍。
这里有个判断技巧:如果正则能以 ^ 开头,并且前缀部分是固定字符串,比如 ^iphone,那么这条查询在逻辑上等价于 LIKE 'iphone%'。当数据量特别大、正则无法避免时,一个技巧是:先用LIKE或前缀索引把候选集缩小,再对候选集做REGEXP详细匹配:
sql复制-- 先用前缀缩小范围,再精确正则匹配
SELECT id, product_name
FROM product
WHERE product_name LIKE 'iphone%'
AND product_name REGEXP '^iphone[0-9]{0,3}';
由于 LIKE 'iphone%' 可以走索引(如果列上有合适的索引),而REGEXP本身无法走索引,这个组合在数据量大的时候能把扫描行数降几个数量级。这个模式我称之为"粗筛+精算",是SQL正则性能优化里最实用的一招。
5.2 写出高性能正则的几个原则
正则表达式本身也是一个算法问题。写得不好的正则,即使数据量不大也可能拖垮查询。以下几点是性能相关的最关键原则:
第一,避免灾难性回溯。形如 (a+)+$、(a|aa)+$ 这类嵌套量词配合结尾锚点,在匹配失败时可能产生指数级的回溯。数据库里尤其危险,因为一条慢SQL可能拖住整个实例。如果发现某条SQL偶尔非常慢,建议先用简单的字符串测试一下正则是否存在回溯问题。
第二,能锚定就锚定。正则引擎在未锚定的情况下,要从目标串的每个位置尝试匹配。^ 和 $ 能大幅减少尝试次数。尽量把模式写完整:^...$ 比裸写一个模式慢不了多少,但语义更准确,引擎也能更早剪枝。
第三,避免过长的字符类。[a-zA-Z0-9_%+-] 这类字符类本身还好,但要小心长字符类和量词组合后产生的候选分支过多。尽量用精确的范围,如 [0-9]{4},而不是 [0-9]{1,8}。
第四,先做空值过滤。REGEXP遇到NULL会返回NULL,在WHERE里等价于false。这个不需要额外写 IS NOT NULL,但有些情况下先过滤NULL能减少正则引擎的调用次数。
5.3 用REGEXP做SQL注入检测的替代思路
热词里经常出现"SQL注入正则匹配绕过",很多团队尝试用正则来检测SQL注入词库,比如 union.*select、or 1=1。这种做法在简单的防护场景下有效,但有一个严重问题:SQL注入的变体太多,正则只能防住已知模式。通过编码、注释、大小写混排、关键字拆分等方式,攻击者可以轻松绕过。
我的建议是:如果要用正则做安全过滤,把它当作辅助手段,不是唯一防线。主防线应该是参数化查询。比如在Java、Python、Go这些后端语言里,所有SQL语句走PreparedStatement或参数化API,数据库层面再配合最小权限原则。REGEXP检测只能作为日志审计或异常流量发现的手段,而不是安全兜底。做安全审计时,可以定期扫一遍SQL日志:
sql复制SELECT log_text, COUNT(*)
FROM sql_audit_log
WHERE log_text REGEXP
'(union[[:space:]]+select|sleep\\(|benchmark\\()'
GROUP BY log_text
ORDER BY COUNT(*) DESC;
这个场景正则的误报率高没关系,它定位的是"可疑行为",不是"已发生攻击"。再配合人工审核,作用比单条拦截更大。
6. 常见坑位与排查链路:转义、大小写、空值与边界条件
6.1 转义陷阱:反斜杠、方括号、连字符
这是SQL中正则命中率最高的坑:SQL字符串层的转义和正则引擎的转义叠加。
MySQL的字符串里,反斜杠本身就是转义符,所以写正则里的 \. 时必须写成 \\.。同理,\\d 在SQL字符串里要写成 \\\\d 才能让正则引擎收到 \\d。这种双重转义非常容易出错。
打个比方,就像你在一个房间里说了一句需要传给隔壁房间的话,中间隔着一个传话筒,传话筒会把你说的一部分词语转译成另一套说法,你必须提前用另一套说辞来"对冲"。SQL字符串转义和正则转义就是这两套规则。
实践中我建议:先在SQL客户端里用一个简单的字面量测试,确认转义层级正确了再嵌入正式语句。比如在MySQL里:
sql复制-- 对,双反斜杠
SELECT '192.168.1.1' REGEXP '^[0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3}$'; -- 1
-- 错,单反斜杠会被字符串层吃掉,结果可能无匹配
SELECT '192.168.1.1' REGEXP '^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$'; -- 0
方括号的问题在于:如果你要匹配方括号本身,比如字段里包含 [error] 字面量,正则里需要写成 \\[error\\]。连字符在字符类内部有特殊意义,如果要匹配字面量连字符,写在字符类的开头或结尾,比如 [a-z-],否则可能被当成范围符号。
6.2 空值和空串:为什么NULL永远匹配不到
在SQL中,任何正则表达式对NULL比较的结果都是NULL,不是false,也不是0。这有点反直觉——因为在大部分语言里 null 参与正则匹配是NPE或者false,但SQL的三值逻辑(TRUE/FALSE/NULL)让事情变复杂了。
一个实际案例:统计"邮箱格式有效的用户数",如果你直接写:
sql复制SELECT COUNT(*)
FROM user
WHERE email REGEXP '^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$';
NULL邮箱会被过滤掉,这没问题。但如果你反过来统计"邮箱格式无效的用户数":
sql复制SELECT COUNT(*)
FROM user
WHERE email NOT REGEXP '^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$';
这时NULL邮箱同样会被排除,因为 NOT NULL 还是NULL,在WHERE里不生效。也就是说NULL既不算有效也不算无效,它三值逻辑里的"未知"。如果你希望NULL也统计在"无效"里,必须显式加条件:
sql复制WHERE email IS NULL
OR email NOT REGEXP '^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$';
另一个容易混淆的概念是空串 ''。空串不是NULL,它可以参与正则匹配,比如 '' REGEXP '^$' 返回1。很多人写校验时忘了空串这一层,导致数据里大量空串通过了格式校验。在数据清洗逻辑里,建议先统一把NULL转成空串再处理,或者反过来先过滤掉NULL/空串,再进入正则逻辑,避免两头落空。
6.3 从一次线上慢查询到REGEXP改写:完整排查链路
最后分享一个真实的排错案例,把REGEXP在实际环境里的问题排查链路完整走一遍,希望能帮大家建立排查思路。
背景:一张订单表,量级约2000万行。某天DBA反馈线上有一条SQL频繁触发慢查询告警:
sql复制SELECT order_id, receiver_name
FROM orders
WHERE receiver_name REGEXP '[王张李刘陈]'
AND order_status = '已完成';
这条SQL的意图很朴素:找出所有"已完成"订单中,收货人姓王、张、李、刘、陈的订单。问题在哪呢?两点:第一,REGEXP '[王张李刘陈]' 没有锚定,它会在每个收货人姓名的任意位置做匹配,也就是说只要名字里任意位置含有这五个字之一就命中。但需求其实想匹配的是姓氏,需要锚定开头:REGEXP '^[王张李刘陈]'。第二,这条SQL在2000万行全表中执行,order_status 上有索引,但 REGEXP 子句导致优化器选择了全表扫描路线,因为它先扫了 receiver_name 再做状态过滤,顺序完全错了。
排查链路如下:
第一步,用EXPLAIN看执行计划,确认是ALL全表扫描,预估行数2000万。第二步,把正则子句单独拉出来在几千行样本上跑,确认匹配逻辑本身是否有问题。第三步,调整书写顺序,把带索引的 order_status = '已完成' 放前面,把REGEXP作为补充过滤条件:
sql复制SELECT order_id, receiver_name
FROM orders
WHERE order_status = '已完成'
AND receiver_name REGEXP '^[王张李刘陈]';
但即便如此,在2000万行里筛选"已完成"可能仍然有几百万行,REGEXP仍要逐行跑。进一步优化思路是:先按状态过滤出候选集,再在应用层或临时表里做正则。还有一个更实际的操作:把姓氏匹配用前缀索引替代,因为 ^[王张李刘陈] 本质是五个前缀的并集。SQL可以写成:
sql复制WHERE order_status = '已完成'
AND (receiver_name LIKE '王%' OR receiver_name LIKE '张%'
OR receiver_name LIKE '李%' OR receiver_name LIKE '刘%'
OR receiver_name LIKE '陈%');
当列表有索引时,LIKE '王%' 可以走索引(前提是字符集和排序规则支持),比REGEXP全表扫描快得多。最终线上改成了这个方案,查询耗时从3秒降到80毫秒。
这个案例给我们的教训是:REGEXP不是不能用于生产查询,但一定要在"数据量、索引、匹配语义"三者之间权衡。如果语义上是前缀匹配,优先考虑LIKE或前缀索引;如果语义是复杂的内部模式,REGEXP更合适,但必须接受全表扫描,并想办法先缩小数据集。
我个人的经验是:把REGEXP当成"规则引擎"而非"查询加速器"。在数据量可控(万级以下)或作为辅助过滤条件时,它是最便捷的规则表达方式;在千万级大表上做核心查询条件,除非没有其他选择,否则尽量把它放在数据集已经缩小的子查询里。正则不是万能的,但在它合适的位置上,它能帮你省下大量SQL代码和业务逻辑,这也是我至今每张表都会留一列测试正则的原因——好的工具,得放在对的地方。
