刚接手一个中台项目的时候,线上有个报表接口经常超时,每次跑批要将近20秒,下游看着图表转圈圈,运营那边一天能催三次。打开慢查询日志一看,一条关联了五张表、嵌套了两层子查询的SQL赫然排在榜首。说实话,这类SQL调优问题在业务系统里太常见了——它不是那种“不会写”的问题,而是“写出来能跑,跑起来要命”的问题。这篇内容我准备从头到尾捋一遍自己的SQL调优实战经验,从索引策略讲到查询优化,再到如何用执行计划定位痛点、如何把一条烂SQL改到飞起,希望能帮到正在被慢查询折磨的朋友。
如果你手头也有一堆“平时能用、量一大就卡死”的SQL,或者刚接触调优但总觉得网上文章零散不成体系,这篇文章应该对你有用。我会用真实案例、实际参数、具体步骤来讲,不整虚的,目标是让你看完能直接上手排查和优化自己项目里的SQL。
1. 调优整体思路:先定目标,再谈优化
1.1 面对一条慢SQL,先别急着加索引
很多朋友遇到SQL慢,第一反应就是“加索引”,好像索引是万能药。我踩过这个坑,而且不止一次。有一回我在订单表上给一个状态字段加了索引,结果整个写入链路变慢,因为每次INSERT都要额外维护索引树,得不偿失。后来我养成一个习惯:拿到慢SQL后,先问三个问题——这条SQL是查什么业务数据?它的执行频率有多高?它慢在哪个环节?
执行频率很关键。如果一条SQL一天就跑一次,跑15秒也不是不能接受;如果它一秒钟跑几十次,哪怕慢300毫秒都是大问题。所以调优之前一定要先定义清楚“优化目标”:是把响应时间压到多少毫秒以内,还是把CPU/IO消耗降下来,还是把锁等待消除掉?没有目标就动手,极容易白忙活。
确定了目标之后,先做一次“是什么导致了慢”的定位。我通常按照这条路径来排查:慢的原因大概率出在三个方面——SQL本身写得烂、索引没建对、数据量大到超出单表合理范围。三者处理方式完全不同:SQL写得烂就重写,索引没建对就调整索引,数据量过大就得考虑分库分表或归档。一开始不要把手段和问题绑死,先把问题定性,再决定用哪把刀子。
1.2 一条完整的调优流程,应该长这样
我自己沉淀下来一套闭环流程,分享给你,照着执行基本不会乱:
- 通过慢查询日志或监控系统拿到问题SQL,记录它的执行时间、扫描行数、返回行数等基线数据。
- 用EXPLAIN查看该SQL的执行计划,找到访问类型(type)、使用到的索引(key)、扫描行数(rows)、Extra字段里的关键信息。
- 初步判断瓶颈:是全表扫描?是临时文件排序?还是嵌套循环次数爆炸?
- 针对瓶颈设计优化方案——可能是加索引,也可能是改写SQL,也可能是两者一起做。
- 在测试环境验证,使用真实数据量或同等量级的数据,对比优化前后的执行时间、扫描行数。
- 上线之后持续观察一段时间,确认没有引发新的问题(比如写入变慢、锁等待增加)。
这套流程看似简单,但真正的难点在于第4步:设计方案时你到底有没有看懂瓶颈的本质。很多调优文章只讲了“怎么加索引”“怎么写SQL”,却忽略了“如何判断该加索引还是该改SQL”。我个人的判断标准是:如果SQL逻辑本身合理,只是缺少合适的索引路径,那优先加索引;如果SQL逻辑存在大量无效计算、重复扫描、不必要的关联,那就必须重写SQL。下面两章,我分别拆开讲。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 索引策略:索引不是越多越好,而是越准越好
2.1 先搞明白B+树索引到底加速了什么
聊索引策略之前,得先把底层原理搞明白,不然你根本没法判断一个字段该不该建索引。大多数关系型数据库用的都是B+树索引,它的核心优势是:数据是有序存储的,查询时可以通过树形结构快速定位,而不是从头到尾扫一遍。这个原理听起来简单,但它决定了索引的三大能力——等值查询加速、范围查询加速、排序加速。
举个最直白的例子。假设你的用户表有100万行数据,没索引的时候查WHERE user_name = '张三',数据库只能全表扫描,平均要读50万行才能找到目标。建了user_name上的索引之后,B+树的高度一般在3到4层,意味着最多经过三四次磁盘IO就能定位到目标数据行,这个差距是指数级的。
但是,索引也有代价。每建一个索引,就意味着每次插入、更新、删除时都要额外维护一棵B+树。索引建多了,写入性能必然下降。所以我在生产环境定了一条规矩:单表索引数量尽量控制在5个以内,字段重复率高、区分度低的列(比如性别、状态)原则上不建独立索引,除非它是覆盖索引的一部分且查询频繁。这个原则帮我避免了很多“加索引一时爽,写入火葬场”的后续麻烦。
2.2 联合索引设计:最左前缀规则怎么用才不会走偏
联合索引是SQL调优里最常用也最容易出错的手段。它的底层逻辑是:多个字段按顺序组成一棵B+树,查询条件必须从最左字段开始连续匹配,索引才会生效,这就是所谓的最左前缀原则。
举个例子,我们的订单表经常按buyer_id + order_status + create_time这三个条件查询,于是建了这样一个联合索引:
sql复制ALTER TABLE order_info ADD INDEX idx_buyer_status_time (buyer_id, order_status, create_time);
这个索引能加速下面这几种查询:
WHERE buyer_id = ?WHERE buyer_id = ? AND order_status = ?WHERE buyer_id = ? AND order_status = ? AND create_time > ?
但它帮不上WHERE order_status = ?这种查询,因为order_status不是最左前缀。我们在实际业务中遇到过这种场景:运营后台想按订单状态筛选订单,一开始直接查这个联合索引,结果发现走了全表扫描,后来单独建了一个order_status的索引才解决。
联合索引设计还有一个容易忽略的点:字段顺序。等值条件的字段放前面,范围条件的字段放后面。原因很简单,B+树是按顺序排列的,如果是范围条件字段在前,后面的字段无法保持有序状态,索引对后面字段的定位能力就失效了。比如idx_buyer_status_time这个索引,如果查询条件是buyer_id = ? AND create_time > ?,那order_status这个中间字段就“挡”住了create_time的索引利用效率——因为order_status在create_time前面,跳过了它就无法利用create_time的有序性。所以设计联合索引时要有意识地把等值条件字段往左放,范围字段往右放。
2.3 回表与覆盖索引:少一次磁盘IO就是质的飞跃
InnoDB里,普通索引(二级索引)的叶子节点存的是主键值,不是整行数据。所以通过普通索引查数据时,会先查到主键,再拿着主键去主键索引(聚簇索引)里找整行数据,这个过程就叫“回表”。每一次回表都是一次随机IO,数据量大了之后,回表次数会被无限放大。
解决回表最有效的手段是覆盖索引。所谓覆盖索引,就是查询需要的所有列都在索引里,数据库不用回表就能拿到全部数据。举个实际案例:我们的订单表有一个高频查询,只要查订单号和金额,SQL长这样:
sql复制SELECT order_no, amount FROM order_info WHERE buyer_id = ? AND status = 1;
如果表上只有idx_buyer_status_time这个索引,那查到主键后还得回表拿order_no和amount。后来我改成建了一个包含查询列的索引:
sql复制ALTER TABLE order_info ADD INDEX idx_buyer_status_amount (buyer_id, status, order_no, amount);
这次查询直接走覆盖索引,Extra字段显示Using index,连回表都省了。在几千万行的表上,这个优化让接口响应时间从60毫秒降到了10毫秒左右。如果你发现某个查询频繁访问且查询列固定,就要优先考虑用覆盖索引把它“包裹”起来。
但是要注意,覆盖索引不是越宽越好。索引列越多,占用的存储空间越大,写入时索引维护成本越高。我通常的做法是只把高频查询中精确且固定的列放进去,那些偶尔出现的过滤条件或返回字段,不值得为它们盲目扩张索引宽度。
2.4 索引失效场景:我在生产环境踩过的坑
索引建好了不代表一定会被使用,下面这几种情况是我在真实项目中反复遇到的,几乎每条都“撞过南墙”:
- 对索引列使用了函数或计算,比如
WHERE YEAR(create_time) = 2024,索引直接失效,正确写法是WHERE create_time >= '2024-01-01' AND create_time < '2025-01-01'。 - 隐式类型转换,比如字段是varchar类型,查询条件里却传了数字,MySQL会自动加一层CAST导致索引失效。
- LIKE查询以通配符开头,比如
WHERE name LIKE '%张%',走不了索引;但如果改成WHERE name LIKE '张%',就可以利用索引的有序性做范围扫描。 - OR条件中只要有一个字段没有索引,整个查询就可能放弃索引走全表扫描。
- 联合索引不满足最左前缀原则,这个前面已经详细说过。
- 优化器认为全表扫描比走索引更快。这种情况一般出现在“区分度低”的列上,比如性别字段,如果表中绝大部分记录都是同一个值,优化器算一笔账发现走索引成本更高,就直接全表扫了。
实战中遇到索引失效,不要死磕“我明明建了索引数据库为什么不走”,而是先看执行计划,搞清楚优化器到底是怎么算这笔账的。有时候需要调整索引结构让成本更低,有时候需要改写SQL让优化器能走索引,没有一成不变的解。
3. 查询优化:会看执行计划,才算入了门
3.1 EXPLAIN结果里那些关键字段,到底怎么看
EXPLAIN是SQL调优的核心工具,但很多新手看不懂它输出的那些字段,或者看了也不知道意味着什么。我挑几个最关键的说,这几个字段几乎决定了90%的调优走向。
第一个是type字段,它表示访问类型,从好到差大致是:system > const > eq_ref > ref > range > index > ALL。前两者是直接按主键或唯一索引定位,非常快;eq_ref和ref是走非唯一索引,也还不错;range表示索引范围扫描,可以接受;index表示遍历整个索引树,比全表扫好一点;ALL就是全表扫描,通常就是性能问题的元凶。我看到ALL的时候,第一反应就是“这里必须优化”。
第二个是key字段,它告诉你这条SQL实际用了哪个索引。如果这个字段是NULL,说明索引没生效。第三个是rows字段,它表示优化器预估需要扫描的行数,这个数字越大,执行时间通常越长。第四个是Extra字段,里面藏着很多重要信息,比如:
Using filesort:文件排序,说明排序没走索引,数据量大了会非常慢。Using temporary:使用了临时表,常见于GROUP BY或DISTINCT。Using index:覆盖索引,不用回表,这是好事。Using where:在存储引擎层拿到数据后又做了过滤。
我建议每次调优前先跑一遍EXPLAIN,把上面几个字段记下来,优化完再跑一遍做对比。你会发现,一个成功的优化,通常伴随着type从ALL变成ref或range,rows从几十万变成几百,Extra里的Using filesort消失。
3.2 子查询与关联查询:改写思路比背诵技巧更重要
子查询是重灾区,尤其是IN后面跟一个子查询时,性能往往非常难看。以前在旧的MySQL版本里,IN (SELECT ...)的执行方式是把外层表的每一行都拿去子查询里比对,这种“逐行驱动”的关联方式一旦外层表大,耗时直接爆炸。现在新版本的优化器做了很多改进,但问题依旧存在,特别是子查询里还嵌套别的查询时。
拿我之前处理过的一个实时库存查询来说,原始SQL是:
sql复制SELECT goods_id, goods_name
FROM goods
WHERE category_id IN (
SELECT category_id FROM category WHERE parent_id = 1024
);
这个查询本身逻辑没问题,但执行计划显示它扫描了近百万行,耗时要好几秒。我把它改写成了JOIN:
sql复制SELECT g.goods_id, g.goods_name
FROM goods g
INNER JOIN category c ON g.category_id = c.category_id
WHERE c.parent_id = 1024;
同样的数据量,改写后执行时间降到了不到200毫秒。为什么?因为JOIN的驱动关系更清晰,优化器可以选择用category表做驱动表,先过滤出parent_id = 1024的少量分类,再通过goods.category_id上的索引去匹配,两张表都只用到了必要的行。
还有一个高频场景是EXISTS和IN的抉择。如果子查询结果集很小,外层表很大,用IN配合索引一般更好;反过来如果子查询结果集很大,外层表很小,用EXISTS在语义上更合适。现在优化器通常会自己做转换,但遇到复杂场景还是建议手动改写并验证执行计划。
3.3 LIMIT深分页为什么这么慢,以及怎么优化
深分页是业务系统里极常见又极坑的问题。典型的SQL是:
sql复制SELECT * FROM order_info ORDER BY create_time DESC LIMIT 100000, 20;
这条SQL慢在哪儿?表面上看只返回20行,但实际上在排序之前,数据库要先扫描、排序前面的100000行,然后全部丢掉,只留最后20行。在MySQL里,这类深分页查询在几百万行数据时已经能感受到明显的卡顿,数据量过亿之后基本就是灾难。
我常用的两种优化手段,各有适用场景。第一种是“延迟关联”:
sql复制SELECT o.*
FROM order_info o
INNER JOIN (
SELECT id FROM order_info
ORDER BY create_time DESC
LIMIT 100000, 20
) t ON o.id = t.id;
这个思路是先只查主键ID并完成排序和分页,然后再把主键关联回原表取出完整行。因为主键索引的体积远小于全表,排序的代价大大降低,所以速度能快很多。第二种是“游标分页”,也就是记住上一页最后一条记录的排序字段值,用范围查询代替LIMIT偏移:
sql复制SELECT * FROM order_info
WHERE create_time < '2024-05-18 10:00:00'
ORDER BY create_time DESC
LIMIT 20;
只要客户端把上一次返回的最后一条create_time传过来,就不需要扫描前面100000行了。这种方案最适合移动端那种“下拉加载更多”的场景,但代价是不能再随意跳页。
3.4 GROUP BY和ORDER BY的隐形成本
还有一个容易被忽略的点是GROUP BY和ORDER BY的隐形成本。如果分组字段和排序字段不一致,或者排序字段没有索引支持,MySQL会使用Using filesort和Using temporary,这两个操作都可能吃满临时空间和CPU。
举个真实例子,有一个统计报表SQL:
sql复制SELECT seller_id, DATE(create_time) AS day, SUM(amount)
FROM order_info
WHERE create_time >= '2024-04-01'
GROUP BY seller_id, DATE(create_time);
问题出在DATE(create_time)这个函数上——字段套了函数之后索引就失效了,GROUP BY时要用临时表做分组。我把SQL改成先按时间范围过滤,再在子查询里完成基础过滤,最后分组统计,同时确保联合索引能覆盖seller_id, create_time,效果立竿见影。
如果你发现自己的SQL里也出现了Using temporary; Using filesort,优先检查两点:排序字段是否被函数包裹,以及GROUP BY和ORDER BY的字段是否能被同一个索引覆盖。
4. 全链路调优真实案例复盘
4.1 案例一:商品列表接口,从18秒到30毫秒
这个案例是后台商品列表的查询,SQL涉及商品主表、分类表、品牌表、库存表四张表的关联,每个表的数据量都在百万级别。原始SQL里有三个子查询,分别统计每个商品的SKU数量、库存总量、评论数。逻辑上没毛病,但执行计划显示驱动表扫描了150万行,整个查询耗时18秒。
我拆解后发现了三个核心问题:
- 子查询被当成了关联子查询,每扫描一行商品都要执行一次统计查询。
- 统计的是整表数据,没有先按商品ID过滤,导致聚集索引扫描范围过大。
- 表关联顺序不理想,优化器选择了数据量最大的商品表作为驱动表。
优化动作分两步。第一步,把三个子查询拆出来,先按商品ID集合查汇总数据,再用JOIN一次性关联回来,避免逐行触发子查询。第二步,给商品表的category_id、brand_id分别建好索引,并给库存表、评论表的goods_id建索引,确保JOIN能走索引。
改完后的SQL结构大致是:
sql复制SELECT g.goods_id, g.goods_name, t1.sku_count, t2.stock_total, t3.comment_total
FROM goods g
LEFT JOIN (
SELECT goods_id, COUNT(*) AS sku_count
FROM goods_sku
WHERE goods_id IN (...)
GROUP BY goods_id
) t1 ON g.goods_id = t1.goods_id
LEFT JOIN (
SELECT goods_id, SUM(stock) AS stock_total
FROM goods_stock
WHERE goods_id IN (...)
GROUP BY goods_id
) t2 ON g.goods_id = t2.goods_id
LEFT JOIN (
SELECT goods_id, COUNT(*) AS comment_total
FROM goods_comment
WHERE goods_id IN (...)
GROUP BY goods_id
) t3 ON g.goods_id = t3.goods_id
WHERE g.category_id = 1001;
最终接口从18秒降到30毫秒左右,优化幅度超过99%。这个案例最有价值的经验是:别把统计逻辑写在关联查询的SELECT子句里,一定要把它前置成子查询聚合,再用JOIN合并结果。
4.2 案例二:深翻页查询,从5秒到80毫秒
某次运营反馈:后台订单列表翻到100页以后,页面加载要好几秒。我查了一下,翻页SQL是典型的深分页写法:
sql复制SELECT * FROM order_info
WHERE status = 2
ORDER BY create_time DESC
LIMIT 200000, 20;
执行计划显示rows预估是80万行,Extra里还有Using filesort。排序字段create_time本身有索引,但前面加了status = 2的过滤条件,而且联合索引没建对,导致优化器选择先扫全表过滤状态,再文件排序。
我的优化方案是“延迟关联+覆盖索引”的组合。先建一个联合索引(status, create_time, id),让过滤和排序都走索引。然后改写SQL:
sql复制SELECT o.*
FROM order_info o
INNER JOIN (
SELECT id
FROM order_info
WHERE status = 2
ORDER BY create_time DESC, id DESC
LIMIT 200000, 20
) t ON o.id = t.id
ORDER BY o.create_time DESC;
子查询里只需要查id和排序字段,完全被联合索引覆盖,避免了回表和全表扫描。实测子查询部分只需要80毫秒,外层再回表取20行数据,整个过程控制在80到100毫秒之间。从5秒到80毫秒,最大的功臣是“覆盖索引+延迟关联”这个组合。
4.3 案例三:聚合报表把数据库CPU打满之后
还有一个印象深刻的案例。某个数据报表功能,每天凌晨会跑一次全量聚合统计,把前一天所有订单按省份、渠道、商品维度汇总。这个任务直接把数据库CPU打到99%,其他业务全部受影响。
看执行计划发现,报表SQL的核心是一张大订单表(8000万行)的GROUP BY,分组字段有四个,排序导致临时表膨胀到几个G。我当时的优化有几步:
- 把大数据量的核心聚合改成“分治”式:先按日期分区把当天数据拆出来,再做聚合。
- 把结果集拆成多个小聚合,分别按省份、渠道、商品跑,最后合并,避免一张临时表承载所有分组维度。
- 为订单表建立
(order_date, province_code, channel_code, goods_id)的组合索引,让过滤和分组尽量走索引。 - 改写SQL,把不必要的大字段排除在查询之外。
优化以后,这个报表任务的执行时间从45分钟缩短到6分钟,CPU峰值也从99%降到了40%左右。这个案例想说明的是,SQL调优不只是“单条SQL的执行效率”,还要考虑它是否影响了整个数据库实例的稳定性。如果一条SQL吃光了CPU,其它所有SQL都是受害者。所以在写各种聚合统计SQL时,务必考虑资源消耗和并发影响。
5. 排查工具与体系化建设:让调优从“救火”变成“防火”
5.1 慢查询日志和监控平台配合使用
很多人只在系统变慢的时候才想起看慢查询日志,平时根本不关注。我建议把慢查询日志常态化开启,阈值设在1秒或500毫秒,根据业务量调整。MySQL里可以通过参数设置:
sql复制SET GLOBAL slow_query_log = ON;
SET GLOBAL long_query_time = 0.5;
SET GLOBAL slow_query_log_file = '/var/log/mysql/mysql-slow.log';
开启后,日志会记录所有超过阈值的SQL,包括执行时间、锁等待时间、扫描行数、返回行数等。结合阿里云RDS的慢查询报表或自建的Prometheus + mysqld_exporter方案,可以按天、按时间段分析慢SQL趋势,及时发现潜在问题。
有些团队连慢查询日志都没开过,那系统出问题的时候就像摸着黑找钥匙,效率极低。我建议至少在核心业务库上开启慢日志,并且定期归档。另外,像performance_schema和sys.schema_table_lock_waits这类系统库,也能帮你找出锁等待和热点行,值得花时间研究。
5.2 我把调优沉淀成了六步闭环
在项目里,我慢慢把调优流程固化下来,确保每次处理SQL性能问题不是“凭感觉”,而是有一套标准动作。这套闭环前面提到过,这里我把每一步的产出物和判断标准写出来:
- 发现问题——通过慢日志、监控报警、业务反馈收集慢SQL。产出物:慢SQL清单,包含时间、频率、平均耗时。
- 基线测量——在测试库或压测环境复现,记录执行时间、rows扫描数、临时表使用情况。产出物:基线报告。
- 执行计划分析——运行EXPLAIN,定位type、key、rows、Extra。这一步基本能判断瓶颈方向。产出物:瓶颈结论。
- 方案设计——根据瓶颈类型,决定是加索引、改索引、重写SQL还是拆表拆库。产出物:优化方案。
- 实施验证——上线前在测试环境验证,比对基线目标和优化后数据。产出物:对比报告。
- 监控回归——上线后持续观察一周,确认没有引起新的慢SQL或性能回退。产出物:回归观察记录。
这套流程最大的价值是“可复现”。不管团队里谁遇到了慢SQL,按这个流程走一遍,基本都能找到方向,避免每个人都靠野路子碰运气。
5.3 调优时别忘了“代价意识”
最后一个心得,可能也是最重要的一条:SQL调优的核心不是“越快越好”,而是在满足业务需求的前提下,找到成本和性能的平衡点。
举个例子,给大表加索引虽然能加速查询,但带来的是写入变慢、存储空间增加、DDL过程中可能的锁表风险。我在生产环境给一张8000万行的表加索引时,真的会提前申请变更窗口,选择业务低峰期执行,并准备好并行复制方案。这些都是“代价”,必须在方案里考虑进去。
再比如,把一条SQL改成分阶段执行,虽然单次响应变快了,但可能增加应用层代码复杂度。有些优化方案看似很酷,团队成员可能根本维护不了。我现在的原则是:优化方案必须满足“可解释、可维护、可回滚”三个条件。宁可少优化一点,也别把系统搞成一个只有自己能看懂的黑盒。
数据库调优这条路,没有一招鲜的银弹,但确实有方法论、有套路、有迹可循。你遇到的很多慢查询和索引失效问题,本质上都是数据结构设计、SQL写法、执行计划理解这三者之间的错配。把这套排查思路和执行计划阅读能力练熟,再加一点代价意识,绝大多数SQL性能问题都能控制在合理范围内。
最后再分享一个个人习惯:每次优化完一条SQL,我会把执行计划截图存下来,连同优化前后的耗时数据、方案思路一起写进团队文档。这件事坚持了半年之后,我发现自己处理同类问题的速度越来越快,团队里其他人遇到相似场景也能直接查文档找到了参考答案。SQL调优这件事,说到底就是多实践、多记录、多总结,经验攒够了,你扫一眼执行计划,心里基本就有数了。
