1. 先厘清一个容易踩的认知误区:SQL审核到底在管什么
很多团队把SQL审核当成一道“上线安检门”,觉得凡是过了审核的SQL,线上就一定不会出问题。这个想法我过去也有,直到有一次被现实狠狠教育了一顿。
事情是这样的:当时我们上线了自建的SQL审核平台,规则配了上百条,从表名规范到索引检查,从禁止SELECT *到强制等值查询走索引,覆盖得相当全面。头一个月效果也确实明显,新上线的接口SQL质量肉眼可见地提升了,review时扯皮的时间少了一大半。但线上监控面板上那些红色的慢SQL曲线,并没有像我们预期的那样掉下去。
后来复盘才看清楚一个核心事实:**SQL审核解决的是“新代码入口”的问题,而慢SQL治理面对的是“线上所有存量SQL”的问题。**这完全是两套逻辑。
1.1 SQL审核能拦住的东西:规范、安全、明显低效的写法
先说说审核的功劳,不能否定它的价值。一套成熟的SQL审核规则,至少能帮你拦住这几类问题:
- 语法和规范类:表名/字段名不符合命名规范、缺少注释、批量DML没有WHERE条件。这类问题虽然不直接导致性能故障,但会给后期维护埋雷。
- 安全隐患类:SQL注入风险(字符串拼接查询)、敏感字段(身份证、手机号)未脱敏直接查询。这类问题一旦线上被攻击,不是慢不慢的事,而是数据还在不在的事。
- 明显低效的写法:SELECT * 不带字段列表、在索引列上使用函数或隐式类型转换、对大表进行不带分页条件的全表扫描、JOIN条件里字段类型不一致导致索引失效。
这些规则的价值在于:**把“人肉review时靠经验才能看出来”的问题,变成机器自动检查的硬性门槛。**开发提交SQL时直接报错或警告,省去了DBA逐条解释“为什么不能这么写”的口舌。
但请注意,审核能拦住的,本质上是“可以静态分析发现的问题”。它不需要看线上数据量,不需要看实际执行计划,只需要看SQL语句本身和表结构就能判断。
1.2 审核管不到的地方:存量SQL、数据量变化、执行计划漂移
审核管不到的,恰恰才是慢SQL治理的主战场。
**第一类是存量SQL。**审核只对“审核之后新写入的SQL”生效。你线上已经跑了三年的老接口,那几十条慢SQL可不会因为你上了审核平台就自动变快。它们需要的是排查、分析、优化,而不是审核。
**第二类是数据量变化导致的劣化。**这一点很多人会忽略。一条SQL上线时数据量只有100万,执行计划走索引,响应时间30毫秒,审核自然通过。但一年后数据量涨到5000万,同样的SQL,优化器可能已经放弃索引选择全表扫描,响应时间从30毫秒变成3秒。SQL审核在它上线那一刻是正确的,但时间会让“正确”变成“错误”。
**第三类是执行计划漂移。**统计信息更新、索引变更、数据库参数调整,都会导致优化器选择完全不同的执行计划。两条SQL单独看都很快,但一旦同时执行,互相争抢资源,其中一条就可能被拖慢。这种“运行时才出现”的问题,静态审核是完全没有感知的。
所以我的结论是:SQL审核解决的是“规范性和确定性”问题,慢SQL治理解决的是“性能和不确定性”问题。两者是互补关系,不是替代关系。
1.3 为什么“审核通过”不等于“线上没问题”
理解了上面两类差异,这个问题就很好回答了。审核通过只能说明:这条SQL在提交时,静态检查没有发现明显的规范或安全隐患,也没有明显违背索引使用原则。
但线上真正的性能瓶颈,往往出现在以下场景:
- 数据分布极度不均衡。比如订单表按用户维度查询,99%的用户只有几条订单,但某个大客户的订单量是其他人的几千倍。索引对大部分查询有效,但只针对大客户的查询就失效了。这种“倾斜问题”审核看不出来。
- 复杂多表JOIN的中间结果集膨胀。三张表JOIN,每张表单独看索引都没问题,但优化器的JOIN顺序一旦选错,中间结果集可能膨胀到几百万行,继而引发临时表、文件排序、内存溢出。这种“组合爆炸”问题审核也看不出来。
- 并发场景下锁等待导致的“伪慢”。SQL本身执行只要50毫秒,但前面有一个大事务一直不提交,持有行锁不放,后面的SQL全部排队等待。从业务角度看响应时间还是超了,但SQL本身并没有问题。
**所以我的建议是:SQL审核当作开发规范的第一道防线,而不是性能保障的唯一防线。**线上性能安全,最终还得靠慢SQL治理这条独立的链路来兜底。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 真正需要治的慢SQL,问题一般都出在这几层
慢SQL的“慢”,是一个结果。但导致这个结果的原因,分布在各不相同的层级。我见过很多排查慢SQL的同事,一上来就盯着SQL语句本身看,看完就开始加索引,加了索引没效果就懵了。这其实就是没有先把问题分层。
我习惯把慢SQL的成因分成四层:SQL写法层、索引与统计信息层、数据库配置与资源层、架构设计层。每一层的问题特征不同,排查手段也不同。
2.1 SQL写法层:最容易发现,也最容易误判
先说SQL写法。这类问题最直观,因为慢SQL日志里抓到的那条SQL往往一眼就能看出毛病。
常见的写法问题包括:
- 隐式类型转换:字段是varchar,但查询条件传了数字,导致索引失效。比如
WHERE user_id = 123456,但user_id是varchar类型,MySQL会先把字段转成数字再比较,索引直接失效。 - LIKE 前模糊匹配:
WHERE name LIKE '%张',这种写法索引派不上用场,只能全表扫。前模糊匹配本质上没法和B+Tree的排序特性匹配。 - 对索引列使用函数:
WHERE DATE(create_time) = '2024-01-01',让create_time的索引失效。正确写法是WHERE create_time >= '2024-01-01 00:00:00' AND create_time < '2024-01-02 00:00:00'。 - SELECT * 带回大量无用字段:尤其是有TEXT/BLOB字段的表,白白增加IO和网络传输开销。
- OR条件导致的索引失效:部分优化器版本下,
OR连接的不同索引列会导致无法有效使用索引,改写为UNION ALL反而更好。
但我必须提醒一句:SQL写法层的问题虽然容易发现,也容易误判。 比如 LIKE '%张' 确实索引失效,但如果表本身很小(几百行),全表扫描比走索引还快,这时候“优化”反而是多余的。所以判断一个SQL写法是否真的有问题,前提是结合数据量和执行计划看。
2.2 索引与统计信息层:慢SQL治理的主战场
根据我个人的经验,线上80%以上的慢SQL,根因都在这一层。
一个是索引没建对或者根本没有索引。这个比较好理解,全表扫和走索引在数据量大的时候有数量级差异。但更隐蔽的问题是:索引建了,但SQL写法导致索引用不上。 前面说的隐式转换、函数包裹、前模糊匹配都是例子。
另一个是统计信息过期。优化器决定要不要走索引,依赖的是统计信息。统计信息说“这张表的数据分布是均匀的”,但实际数据已经严重倾斜了,优化器就会做出错误的选择。MySQL里 ANALYZE TABLE 可以更新统计信息,Oracle里需要 DBMS_STATS.GATHER_TABLE_STATS,SQL Server里则是 UPDATE STATISTICS。
还有一个很容易被忽略的情况:索引选择错误。 一张表上有多个索引,优化器选了一个选择性很差的索引,导致回表次数过多。比如订单表上有 (status) 索引和 (user_id, create_time) 联合索引,你查 WHERE status = 1 AND user_id = 123,优化器可能先用了 (status) 索引,因为status=1的数据占了全表的50%,然后对每个结果回表过滤user_id,性能惨不忍睹。解决方案是建立 (user_id, status) 联合索引,或者强制索引提示。
2.3 数据库配置与资源层:SQL没问题,但执行环境出问题了
这一层最容易让人抓狂。SQL语句本身一看就是标准写法,执行计划也强制走了索引,但线上就是慢。
这时候就要把视野从SQL本身挪开,看向数据库所在的运行环境。
典型的资源层问题包括:
- 连接池打满,请求排队。应用侧拿不到数据库连接,响应时间直接飙升。表面上看是慢SQL,实际上是连接池配置过小或连接泄漏。
- 磁盘IO瓶颈。慢查询日志可能大量出现在数据量剧烈增长或做大批量导入的时段。SSD和机械盘的随机读写能力差距巨大,但即便是SSD,也有IOPS上限。
- 内存不足导致buffer命中率低。InnoDB的Buffer Pool如果配得太小,频繁的磁盘读取代价会拖垮一切看起来完美的SQL。
- 锁阻塞。一个事务长时间持有行锁,后面所有访问同一行的SQL全部排队。这种“慢”不是执行慢,是等锁等得慢。
我遇到过一个特别典型的案例:一条SQL单独跑只要20毫秒,但线上却稳定地耗时2秒。查了半天,发现是因为高峰期有个批量更新任务一直持有某张表的MDL锁(元数据锁),导致这条SQL一直在等待锁释放。这不是SQL写法的问题,也不是索引的问题,纯粹是运行时资源与锁的竞争问题。
2.4 架构设计层:慢SQL的终极原因往往在这里
很多慢SQL,你再怎么优化SQL本身、再怎么调整索引,都是治标不治本。因为问题出在架构设计层面。
- 单表数据量过大。一张表5亿条数据,即使索引完全正确,B+Tree的层级也会变高,回表时的随机IO消耗也会变大。此时SQL改写和索引优化的收益天花板已经看到了,真正该做的是分库分表。
- 大事务。一个事务里更新几百万行数据,持有锁的时间过长,不仅自己慢,还会拖垮别人。这种问题再优化SQL也解决不了,必须从业务逻辑上拆分事务。
- 热点数据集中。比如秒杀场景下,所有请求都去update同一个SKU的库存,这一刻数据库层面就是串行的。SQL优化无解,需要引入分布式锁、缓存或削峰限流。
- 不合理的数据模型。一张“大宽表”里塞了几百个字段,其中很多字段长期不被使用,但每次查询都把这些字段读取出来。这时候最该做的不是优化SQL,而是做垂直拆分。
判断慢SQL的根因归属哪一层,我的经验是:先从执行计划入手,如果执行计划有明确问题,那就是写法层或索引层;如果执行计划没问题但就是慢,那就看资源监控指标(CPU、IO、锁等待)来判断是不是配置层;如果资源层也正常但业务高峰期稳定变慢,那就往架构层面想。 依照这个顺序排查,能节省大量时间。
3. 慢SQL发现的完整链路:从埋点到感知
治理慢SQL的第一步,不是优化,而是“能不能看到它”。很多团队的现状是:业务方反馈“页面好卡”,然后DBA被动地跑到数据库上看 SHOW PROCESSLIST,看到一个跑了60秒的查询,掐死,完事。这种“被动救火”的模式,永远无法形成体系化的治理。
要主动治理,必须先把发现链路搭起来。完整的链路分为三个环节:埋点采集、阈值判定、监控告警与可视化分析。
3.1 慢查询日志的开启与采集:不同数据库的姿势不一样
先以最常见的MySQL为例。慢查询日志是MySQL自带的,默认关闭,需要在配置文件中开启:
code复制slow_query_log = 1
slow_query_log_file = /var/log/mysql/mysql-slow.log
long_query_time = 1
log_queries_not_using_indexes = 1
slow_query_log:开关。long_query_time:超过多少秒算慢查询,我这里暂时配的是1秒。单位是秒,支持小数,比如0.5就表示500毫秒。log_queries_not_using_indexes:记录没有走索引的查询。这个很有用,因为有些SQL虽然执行时间没超过阈值,但全表扫描本身就是一个隐患。相比之下,采集全面比采集准确更重要,宁可多记一些,也不能漏掉。
注意,生产环境开启慢查询日志后,要留意日志文件的大小。如果大面积SQL都慢,日志文件会增长得很快,建议配合日志切割或直接采集到专门的日志平台(比如ELK、Loki),不要在数据库服务器本地保留过久。
Oracle这边用的是AWR(Automatic Workload Repository),默认每小时生成一个快照,可以跑AWR报告来看哪类SQL消耗资源最多。DBMS_WORKLOAD_REPOSITORY.AWR_REPORT_HTML 可以根据快照区间生成报告。SQL Server则是通过DMV(动态管理视图),最常用的查询是:
sql复制SELECT TOP 10
qs.total_elapsed_time / qs.execution_count AS avg_elapsed_time,
qs.total_worker_time / qs.execution_count AS avg_cpu_time,
SUBSTRING(st.text, (qs.statement_start_offset/2)+1,
((CASE qs.statement_end_offset WHEN -1 THEN DATALENGTH(st.text) ELSE qs.statement_end_offset END - qs.statement_start_offset)/2)+1) AS statement_text
FROM sys.dm_exec_query_stats AS qs
CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS st
ORDER BY total_elapsed_time DESC;
这个查询能直接列出执行时间最长的TOP SQL,非常实用。
3.2 阈值怎么定:一视同仁的1秒并不科学
很多团队直接沿用默认的 long_query_time = 1,把所有超过1秒的SQL都定义为慢SQL。这样做的问题在于:1秒对于不同的业务场景,意义完全不同。
一个后台数据统计接口,跑3秒完全可以接受,因为用户愿意等;一个用户登录接口,超过500毫秒用户就会明显感觉“卡顿”;一个内部定时任务,跑30秒也无所谓。把这些SQL都放到同一个“慢SQL”列表里,会带来大量噪音,真正需要关注的“实时关键链路慢查询”反而被淹没。
我建议的实践是:按应用、按接口的重要程度设定分级阈值。 实时交易类接口,超过500毫秒就算慢;一般业务查询,超过1秒算慢;报表类、后台类查询,超过5秒才需要关注。
这个分级可以通过采集端的配置实现。比如pt-query-digest(Percona Toolkit里的慢查询分析工具)支持按值过滤,也可以在采集脚本里根据SQL特征打标。
3.3 监控告警与报表:如何确定优先级并排定治理顺序
采集和判定只是第一步,真正有价值的是后续的分析和行动。我见过不少团队,慢查询日志采集了,也堆在ES里了,但没有做任何视图和告警,日志只是变成了一堆“永远没人看的数据”。
一个可用的慢SQL监控平台,至少要有三块能力:
第一,趋势分析。能按天/按周展示慢SQL数量、平均响应时间、最大响应时间的变化趋势。如果某天慢SQL数量从100条飙升到5000条,这背后大概率有变更,比如新发版、数据量突增、索引被删。
第二,SQL指纹聚合。这是慢SQL治理里极其重要的一环。数据库里的慢日志是逐条记录的,但同一条SQL只是参数不同,会被记录成多条。比如 SELECT * FROM orders WHERE user_id = 1001 和 WHERE user_id = 1002,本质上是同一条SQL。需要把参数部分替换成占位符,归并成一条SQL指纹(fingerprint),然后统计总执行次数、平均耗时、最大耗时。这样一眼就能看出哪些SQL是“执行频率高且每次都慢”的高优先级的对象。
第三,告警通知。按指纹聚合后,设置合理的告警阈值。例如“某条SQL指纹平均耗时超过2秒且最近10分钟执行超过100次”,就触发告警通知DBA和对应业务负责人。
这里有个重要的经验:不要只按“平均耗时”排序,要用“平均耗时 × 执行次数”来评估影响面。 一条平均耗时5秒但一天只执行几次的SQL,和一条平均耗时800毫秒但每秒执行几十次的SQL,后者对系统的整体影响更大。治理优先级应该把资源消耗总量纳入考量。
4. 定位那条“该死”的慢SQL:执行计划就是最终的裁判
拿到一条慢SQL之后,很多人的第一反应是“凭经验猜”。猜索引没生效,猜子查询有问题,猜数据量太大。但我用十年经验换来的建议是:别猜,直接看执行计划。 执行计划是数据库优化器根据统计信息、索引情况、SQL写法综合计算出来的“实际执行方案”,它不会扯谎。
4.1 拿到SQL的第一件事:先看执行计划,别急着优化
以MySQL为例,在SQL前面加 EXPLAIN 关键字即可:
sql复制EXPLAIN SELECT o.order_id, u.user_name, o.amount
FROM orders o
JOIN users u ON o.user_id = u.user_id
WHERE o.status = 1
ORDER BY o.create_time DESC
LIMIT 20;
输出结果里有几列是我重点关注的:
- type列:访问类型。从好到坏依次是
system > const > eq_ref > ref > range > index > ALL。看到ALL就是全表扫描,是优化重点。index表示全索引扫描,虽然比全表好一点,但如果索引列很多,同样代价不小。 - key列:实际使用的索引。如果为NULL,说明没有使用任何索引。
- rows列:优化器估计需要扫描的行数。这个数字越大,执行成本越高。它不是精确值,但能反映量级。
- Extra列:包含大量关键信息。看到
Using temporary表示使用了临时表,Using filesort表示需要额外排序,Using where表示在存储引擎层过滤后还需要服务层过滤。这几个都是性能隐患的信号。 - filtered列:表示经过条件过滤后剩余行数的百分比。如果这个值很低(比如0.1%),说明从存储引擎读取了大量行但绝大多数被过滤掉了,这种时候需要优化关联条件或索引设计。
把执行计划打印出来后,很多问题一眼就能定位。比如发现 orders 表的访问类型是 ALL,扫描行数显示 4821560(四百多万行),那优化方向就很明确:让 WHERE status = 1 或者 JOIN 条件用上索引。
4.2 一次典型的索引失效排查过程:一个真实案例
说一个我印象很深的真实排查案例,完全能代表慢SQL治理的典型过程。
某天线上监控报警:订单查询接口P99耗时从200毫秒涨到了2.3秒。抓到的慢SQL长这样:
sql复制SELECT id, order_no, user_id, total_amount, status, pay_time
FROM orders
WHERE user_id = 123456
AND pay_time BETWEEN '2024-01-01 00:00:00' AND '2024-01-31 23:59:59'
ORDER BY pay_time DESC
LIMIT 20;
第一反应是查索引。一看表结构,orders 表上有 idx_user_id(user_id) 索引,也有 idx_pay_time(pay_time) 索引。理论上这条SQL应该能用到 idx_user_id 才对。
但 EXPLAIN 的结果让人意外:type是ALL,rows是5000万,key是NULL,直接全表扫描了。
为什么索引没生效?继续排查发现,user_id 字段是varchar类型,而SQL里传入的是数字 123456。MySQL在比较时发生了隐式类型转换:把varchar类型的 user_id 字段转成数字再比较。这一转,索引就废了。
解决办法很简单,把SQL里的参数改成字符串:
sql复制SELECT id, order_no, user_id, total_amount, status, pay_time
FROM orders
WHERE user_id = '123456'
AND pay_time BETWEEN '2024-01-01 00:00:00' AND '2024-01-31 23:59:59'
ORDER BY pay_time DESC
LIMIT 20;
修改后执行计划type变成了 ref,rows从5000万变成了8,查询耗时从2.3秒降到了20毫秒。
这个案例看起来很简单,但它揭示了一个关键教训:慢SQL治理的排查,必须从执行计划的事实出发,而不是从“应该没问题”的假设出发。 如果当时我凭经验觉得“这么简单一条查询肯定走了索引”,然后去调数据库参数、加缓存,那不仅解决不了问题,还会让问题隐藏得更深。
4.3 执行计划里最容易混淆的几行
很多新手看执行计划时,容易被几个概念绕晕。这里说几个最常被误解的地方。
一个是 Using index 和 Using where 的区别。 Using index 表示查询所需的数据直接从索引中获取,不需要回表,这叫“覆盖索引扫描”,是性能最好的情况之一。Using where 则表示先从存储引擎读取数据到服务层,然后在服务层过滤,这个过滤可能是索引下推,也可能不是。看到 Using where 不一定代表有问题,但如果同时看到 type = ALL 或 rows 特别大,就需要进一步分析。
另一个是 Using filesort。 很多新手看到这个词以为数据库在磁盘上做了排序,其实不是。filesort 的含义是“需要额外的排序操作”,可能发生在内存中,也可能发生在磁盘上。出现 filesort 不代表一定慢,但如果有 ORDER BY 且排序字段不在索引中,数据量大时可能是性能瓶颈。优化思路通常是让排序字段也包含在索引里,因为B+Tree本身就是有序的。
还有一个是 type = index。 它表示“扫描了整个索引树”,而不是通过索引快速定位。比如你在一个二级索引上做了不带WHERE的查询,优化器选择扫描整个二级索引,因为二级索引通常比聚簇索引小。这种扫描虽然比 ALL 快一点,但仍然不是理想的访问类型。看到 index 时要注意,它和 range、ref 有本质区别。
5. 慢SQL治理的实操手段:从SQL改写到底层架构
定位到根因之后,下一步就是动手优化。我按照“从低成本到高成本、从短期到长期”的顺序,介绍几种直接可用的治理手段。治理手段的选择原则是:能用最小的改动解决问题,就不要做伤筋动骨的大动作。
5.1 SQL改写:最常见的几种改写模式及其原理
SQL改写是成本最低、见效最快的手段。它的核心思路是:在不改变业务语义的前提下,调整SQL的写法,让优化器能找到更优的执行路径。
改写一:拆分大查询为小查询。 一个复杂的多表JOIN查询,如果多个条件之间的关联性不强,可以拆成多个单表查询,在应用层做数据组合。这样做的好处是:每个单表查询都可以独立走索引,中间结果集不会膨胀。缺点是多了一次网络往返,但网络往返的代价通常远小于数据库里做大型JOIN的代价。
改写二:用EXISTS替代IN。 当子查询的表很大而外层表较小时,IN 的实现方式可能是先执行子查询,再把结果集和外层表做哈希连接,子查询的结果集可能非常大。EXISTS 则是外层表的每一行去子查询里探测,一旦找到匹配就停下来,在子查询表较大且外层表较小时,EXISTS 常常比 IN 快。但注意,MySQL 5.6+ 以及8.0的优化器做了很多改进,这个经验未必总是适用,还是那句老话:以实际执行计划为准。
改写三:合理使用UNION ALL替代OR。 当 OR 连接的多个条件分别涉及不同的索引列时,比如 WHERE a = 1 OR b = 2,优化器可能无法同时使用 a 和 b 的索引,从而选择全表扫描。此时改写成两个独立查询用 UNION ALL 连接,每个查询分别走各自的索引,性能往往更好。但注意 UNION 会去重,如果业务上不需要去重,一定用 UNION ALL,避免额外的排序和去重开销。
改写四:优化分页查询。 深度分页是经典痛点。LIMIT 100000, 20 意味着MySQL要读取前100020行然后丢弃前100000行,越往后翻页越慢。优化方式是用“延迟关联”:先查出主键ID,再用主键关联回原表取数据:
sql复制SELECT t.*
FROM orders t
JOIN (
SELECT id
FROM orders
WHERE status = 1
ORDER BY id
LIMIT 100000, 20
) tmp ON t.id = tmp.id;
子查询只需要扫描索引(覆盖索引),代价远小于回表扫描100020行。
5.2 索引优化:不是建的越多越好,而是要建“对”的
索引优化是慢SQL治理里最常用也最容易过度的手段。很多团队的DBA一接到慢SQL,第一反应就是“加个索引”,结果一张表上建了十几个索引,写入性能被拖垮,索引占用的空间比数据还大。
索引设计有几个关键原则:
第一,联合索引的列顺序有讲究。 把选择性高的列放在前面。比如 (user_id, status, create_time) 和 (status, user_id, create_time),如果 user_id 的区分度远高于 status,前者更优。选择性高的列放在前面,能让B+Tree在更少的层级内过滤掉更多的行。
第二,覆盖索引是性能利器。 如果查询只需要读取某几个字段,可以建立一个包含这些字段的联合索引,让查询完全通过索引返回数据,不需要回表。比如常见的 SELECT user_id, status FROM orders WHERE status = 1,建立 (status, user_id) 联合索引后,数据全部在索引里,查询速度极快。
第三,索引不是越多越好。 每一根索引在写入时都需要维护B+Tree结构,索引越多,INSERT/UPDATE/DELETE的代价越大。我见过一张表被DBA建了12个索引,写入性能下降了30%以上。索引优化优先考虑修改已有索引(比如调整列顺序),而不是无脑新增。
第四,冗余索引要清理。 (a) 索引和 (a,b) 索引,前者就是后者的前缀,属于冗余索引。用 SHOW INDEX FROM table 可以查看所有索引,然后人工或依靠工具识别冗余索引并删除。
5.3 分库分表、读写分离、缓存兜底:SQL改不动时的架构手段
当SQL和索引优化已经做到极致,但性能还是满足不了业务需求时,就需要往架构层面找解法。
读写分离。 这是最简单也最有效的架构手段之一。绝大多数业务场景是读多写少,把读流量分流到只读从库,主库专注于处理写事务,能显著降低主库压力。但要注意:从库的数据有延迟,需要业务层能容忍“刚写入的数据读不到”这种短暂不一致。
分库分表。 当单表数据量达到千万级以上,即使索引完全正确,查询也会有明显的性能退化。这时需要按业务维度分片,比如订单表按用户ID哈希分片、按时间范围分片。分库分表带来的问题是跨片查询、全局唯一ID、分布式事务复杂度上升,所以它是“最后一招”,不是一上来就用的“银弹”。
缓存兜底。 对于热数据查询,可以在应用层引入Redis缓存。查询时先查缓存,缓存未命中再查数据库,并把结果回填。这样可以大大降低数据库的读压力。但要注意缓存穿透、缓存击穿、缓存雪崩这三个经典问题,分别对应:查询一个不存在的数据(每次都会穿透到数据库)、某个热点缓存同时过期(请求全部打到数据库)、大量缓存同时过期(数据库瞬间压力翻倍)。
这里分享一个真实经验:很多团队一慢就上缓存,但缓存的引入应该放在SQL优化之后,而不是之前。 因为缓存会掩盖SQL本身的性能问题,一旦缓存节点故障,流量直接怼到数据库,数据库可能瞬间被打爆。先把SQL本身优化到合理水平,再用缓存做加速,才是稳妥的做法。
5.4 治理效果的评估与回滚:优化完必须验证,否则等于白干活
慢SQL优化完,不是“改了就算完”。我见过太多“优化”之后没有验证,上线后反而更慢的情况。所以评估环节必须有。
评估主要看三个指标:
- 响应时间:优化前后,同一条SQL在同等数据量下的平均耗时对比。最好用压测或线上灰度数据对比,避免因为业务高峰期波动导致误判。
- 扫描行数:通过执行计划里的
rows列对比优化前后的扫描行数。如果扫描行数下降了一个数量级,但耗时没有明显变化,说明瓶颈可能不在这里,需要继续排查。 - 资源消耗:优化后数据库的CPU、IO、内存等指标是否有改善。如果SQL本身快了,但CPU占用反而上升,可能引入了其他问题。
评估完如果效果不达标,要有回滚预案。比如索引优化,要提前准备好 DROP INDEX 的语句;SQL改写要保留旧版本代码的回滚开关。再成熟的优化,也必须有灰度发布和回滚的能力。 这是生产环境的铁律。
6. 把审核和治理接成一条流水线,而不是两座孤岛
前面说了这么多,其实一直在讲两件事:SQL审核管的是入口规范,慢SQL治理管的是存量性能。但我想强调一个更高一层的观点:这两个体系如果不打通,各自都是不完整的。
审核规则如果不吸收慢SQL治理的教训,就会永远停留在“通用规范”层面,对线上真实发生的性能问题没有感知;慢SQL治理如果不反哺审核规则,就会反复处理同类问题,治一个冒一个。
6.1 审核规则库应该沉淀慢SQL治理的教训
我们团队在慢SQL治理的过程中,会阶段性地把高频根因整理成“血泪清单”,然后逐条映射到SQL审核规则里。比如前面提到的“varchar字段传数字导致隐式类型转换”这个案例,后来就被我们做成了审核规则:当SQL的WHERE条件中字段类型为varchar时,参数必须显式带引号。 如果审核平台能通过元数据感知字段类型,这个检查可以自动化。
再比如,统计信息过期导致的执行计划劣化,虽然不能在SQL静态审核阶段完全拦下来,但可以做成一条“周期巡检”规则:每周自动检查大表的统计信息更新时间,如果超过阈值就自动执行 ANALYZE TABLE 或告警。
慢SQL治理的常见根因,和审核规则之间有一张对应关系表。我根据个人经验整理如下:
| 慢SQL根因 | 审核规则 | 治理侧动作 |
|---|---|---|
| 隐式类型转换导致索引失效 | 检查字段类型与参数类型是否一致 | SQL改写,调整参数类型 |
| 前模糊匹配导致全表扫描 | 检测LIKE语法,禁止前模糊 | 改写为范围查询或引入搜索引擎 |
| 大表深分页 | 检测LIMIT偏移量阈值 | 延迟关联或游标分页 |
| 函数包裹索引列 | 检测WHERE中的函数调用 | SQL改写,去掉函数或改用范围条件 |
| 大事务导致锁阻塞 | 检测事务内DML行数 | 业务拆分,缩小事务粒度 |
| 多表JOIN结果集膨胀 | 限制单条SQL关联表数 | 拆分查询或物化视图 |
这样一来,每治理一个线上问题,治理经验就会回流到审核侧,让后面的新代码不再踩同一个坑。这才是把SQL审核和慢SQL治理真正串起来的做法。
6.2 慢SQL平台反哺审核规则的闭环
我建议建立一套“问题反馈→规则更新→效果验证”的闭环机制。具体操作流程如下:
- 慢SQL监控平台发现新的慢SQL指纹,并自动标记根因分类。
- 每周开一次慢SQL评审会,DBA和核心开发一起过一遍新出现的慢SQL,确认根因。
- 对确认的根因,更新审核规则库。比如发现某个新上线的开发频繁写
NOT IN子查询导致慢查询,就把这个模式加入审核规则,以后所有提审SQL都会自动检查。 - 审核规则更新后,观察后续一段时间新增慢SQL的数量是否下降,验证规则是否有效。如果无效,检查是规则没触发还是漏网之鱼。
在这个闭环里,审核平台不只是“拦截器”,更是“学习器”。它能从线上真实的故障中不断学习,越来越精准。这个过程不需要太复杂的AI,先把“人肉沉淀规则”这个基础闭环跑通,已经能解决大部分问题。
6.3 配套的流程与规范:谁来负责、多久处理、怎么做
体系建得再好,如果责任人不明确,一切都是空转。我结合团队实践,梳理了一套慢SQL治理责任矩阵,供参考:
- 开发负责人:负责优化自己负责模块的慢SQL,包括SQL改写、代码逻辑调整、事务拆分。
- DBA(数据库工程师):负责慢SQL的发现、分析、根因定位,以及索引优化、参数调整、架构改造建议。DBA不直接改业务代码,但提供优化方案。
- 架构师:负责判断是否需要做读写分离、分库分表、缓存等架构级改造。
处理时效上,建议按影响面分级:
| 级别 | 判定标准 | 响应时间 |
|---|---|---|
| P0 | 核心链路可用性受损,大量请求超时 | 立即响应,30分钟内给出处理方案 |
| P1 | 单条SQL平均耗时超过阈值且高频执行 | 2小时内定位,当天给出优化方案 |
| P2 | 慢SQL影响面较小,但存在隐患 | 一周内安排优化 |
| P3 | 低频执行,暂时不影响业务 | 纳入迭代计划,定期优化 |
流程上,建议把慢SQL治理写进迭代流程。每次发布前,如果涉及数据库相关改动,必须附带执行计划评估;每周固定时间做一次慢SQL盘点。治理慢SQL不是一次性的“灭火行动”,而是一个持续运营的日常动作。
我个人在这一整套体系落地后的体会是:SQL审核和慢SQL治理,就像一条河的上游和下游。上游不设卡,脏东西全往下游排;下游不清理,河水迟早要臭。只做审核不管治理,问题只是被推迟了;只做治理不管审核,你会永远在“救火”,永远有救不完的火。把两者打通,形成从入口拦截到存量治理、再反哺规则的闭环,才是我认为比较完整的状态。这条链路不需要一次性做到完美,可以先从“把慢SQL看到并归因”开始,一步步把规则沉淀下来,跑上几个月,你会看到新增慢SQL的数量在肉眼可见地下降。
