多表汇总这事,看起来是SQL里最基础的能力之一,但我见过太多人在"两个表JOIN"阶段顺风顺水,一走到"多表数据汇总"就直接翻车。不是结果算错,就是查出来的数对不上账,更麻烦的是那种跑完了你根本不知道它错了的情况。这篇就专门聊聊这个进阶点:当汇总需求从两张表变成三张、五张甚至更多的时候,SQL该怎么写才稳、准、快。
1. 一个典型的"多表汇总翻车现场":为什么SUM翻倍了
先把最典型的错误场景摆出来。假设我们有这么三张表:
orders订单主表,一个订单一行,里面有订单ID、订单日期、客户ID、订单金额。order_items订单明细表,一个订单可能有多行商品明细,一行代表一个商品,里面有订单ID、商品ID、商品数量、商品单价。payments支付流水表,一个订单可能有多笔支付记录(分期、部分付款等),有订单ID、支付金额。
现在需求很简单:统计每个订单的总商品金额、总支付金额,以及订单本身的应付金额,汇总后看一看哪些订单存在少付、多付的情况。
很多人的第一反应是,这有什么难的,三张表LEFT JOIN一下,然后GROUP BY订单ID,SUM不就行了?于是写出来这样:
sql复制SELECT
o.order_id,
o.order_amount,
SUM(oi.quantity * oi.unit_price) AS item_amount,
SUM(p.pay_amount) AS paid_amount
FROM orders o
LEFT JOIN order_items oi ON o.order_id = oi.order_id
LEFT JOIN payments p ON o.order_id = p.order_id
GROUP BY o.order_id, o.order_amount;
单看语句结构,好像没什么毛病:左连订单表,再左连明细表,再左连支付表,最后按订单分组汇总。
问题出在哪?如果你执行了这条SQL,然后去人工抽查一个同时有3行明细、2笔支付的订单,你会惊恐地发现,item_amount 变成了真实商品明细金额的2倍,而 paid_amount 变成了真实支付金额的3倍。
这是我在实际业务里见过频率最高的多表汇总错误,没有之一。
要理解为什么翻倍,你先要搞清楚JOIN在数据库里到底做了什么。JOIN在最终结果集展开的时候,是行与行之间的笛卡尔组合。orders 表的一行,先匹配到3行 order_items,这个时候结果集里已经有3行;再拿这3行去匹配2行 payments,每一行都匹配出2个支付流水,于是这个订单在最终结果集里的行数变成了3×2=6行。
也就是说,3条商品明细被复制成了两份去参与SUM,2条支付流水被复制成了三份去参与SUM。两个维度的行互相放大,SUM出来的数字自然全是虚的。
这个现象,在数据库圈子里有个专门的说法叫 fan out,中文一般译作"行数放大"或者说"连接爆炸"。只要两张子表的关联键是同一个,且两张表自身都存在一对多关系,三级连接必然产生交叉放大。
所以,当你发现某条多表汇总SQL算出来的总和异常偏大,尤其是SUM值等于预期值的若干整数倍时,第一反应不应该是去查业务数据有没有错,而是先怀疑是不是多个一对多关系被直接拼在了一起。
这里可以给出一个非常实用的自检规则:在一整条JOIN链路里,如果同一层级的FROM后面,有两个或两个以上的表都通过同一个字段与主表关联,而且这些表自身都有多条明细,那这条SQL的汇总结果基本可以判死刑了。这是多表汇总里最容易被忽略、也最容易导致数据失真的大坑。
正确的做法是拆分汇总,我们后面会细讲。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 先想清楚聚合粒度:多表汇总前必须回答的一个问题
为什么多表JOIN汇总会有那么多的坑?根子在于,很多人没搞清楚自己的目标结果集到底是什么粒度。
所谓粒度,就是结果集里"每一行代表什么"。你要统计"每个订单的汇总",结果集每一行就是一个订单;要统计"每个客户每个月的汇总",结果集每一行就是一个客户一个月。一旦确定了粒度,你再去反推每一列数据应该来自于哪张表、以什么方式聚合,思路就会清晰很多。
多表汇总出错的本质,往往是目标粒度和JOIN结果的粒度不一致,或者说,你想要的是一行一个订单,但 JOIN 过程强行生成了一个订单多行,后面的 GROUP BY 又没能把这个"多行"造成的放大影响消掉。
我自己的经验是,在写任何一条多表汇总SQL之前,先在注释里写清楚三句话:
- 最终结果集的一行代表什么?
- 每一列需要从哪张表取数、是否需要聚合?
- 表与表之间是几对几的关系?
拿前面那个订单汇总的需求来说:
结果集一行代表一个订单。order_amount 是订单表自带的列,不需要聚合,直接取;item_amount 是 order_items 表的行明细加总,必须对订单ID做SUM;paid_amount 是 payments 表行明细加总,同样必须SUM。
到这里,你应该能看到一个关键矛盾:order_items 需要按订单ID先聚合成一行,payments 也需要按订单ID先聚合成一行,但 orders 本身一行就是一个订单。三个粒度不同的表,不能直接在同一个JOIN链条里平铺开。
正确的处理路径只有两种,我们下一节展开讲。但你先记住一个核心原则:当多张表的明细粒度互不相同、无法在同一个层级直接JOIN时,优先把每张明细表各自聚合到与主表一致的粒度,再去做连接。顺序绝对不能反。
还有一个容易误判的地方:有时候表面上两张表是一对一关系,实际上因为数据质量问题存在重复行。比如 order_items 里同一个订单同一个商品,因为操作日志异常出现了两行完全一样的数据;或者 payments 表里因为回调重复,同一条支付被录入了两次。这种一对多不是业务设计上的,是脏数据造成的,它的危害更大——你在拆分聚合的时候可能根本没察觉到重复,结果汇总金额虚高,排查时死活找不到原因,因为业务关系上确实是一对一。
所以,在多表汇总前,先对每张明细表的关联键做一次重复性检查,是一个成本极低但收益极高的习惯:
sql复制SELECT order_id, COUNT(*) AS cnt
FROM order_items
GROUP BY order_id
HAVING COUNT(*) > 1;
如果这个查询返回了大量数据,先别急着写多表JOIN,把数据清洗干净,或者至少在聚合逻辑里考虑去重规则。这是很多人会跳过的关键一步。
3. 核心方法论:先各表归并,再统一连接
承接上面说的,正确的多表汇总思路,是先把表按照"目标粒度"进行归并,再连接。具体有两种常规做法,你可以视数据量和业务场景选用。
3.1 方案一:子查询预聚合
这是最推荐、也是性能最可控的写法。每一张明细表先在自己的表内做GROUP BY,把粒度统一到订单级别,然后再与主表进行JOIN:
sql复制SELECT
o.order_id,
o.order_amount,
COALESCE(oi.item_amount, 0) AS item_amount,
COALESCE(p.paid_amount, 0) AS paid_amount
FROM orders o
LEFT JOIN (
SELECT order_id, SUM(quantity * unit_price) AS item_amount
FROM order_items
GROUP BY order_id
) oi ON o.order_id = oi.order_id
LEFT JOIN (
SELECT order_id, SUM(pay_amount) AS paid_amount
FROM payments
GROUP BY order_id
) p ON o.order_id = p.order_id;
这个写法的核心思想是:先让每个明细表在最小范围内完成各自的COUNT、SUM或AVG,得到一张"已经在订单粒度上折叠好了"的结果集,然后再进行JOIN。由于预聚合的结果在订单ID上是唯一的,后续的JOIN不会造成1∶N扩张,N个单值之间的JOIN只是并排关联,不会互相放大。
这个方案在逻辑上最容易验证,排查问题也直观。你把两个子查询替换成临时表或者CTE,一步一步看中间过程,哪里错了都容易发现。
也有个性能上的考虑:数据库优化器并不一定完全按照你写的顺序执行,子查询里的GROUP BY可能会被优化器下推或者改写,但大多数情况下,预聚合子查询比直接JOIN+外层GROUP BY更有利于减少中间结果集的行数,尤其是在明细表数据量大的时候。
3.2 方案二:先连接后聚合,但必须保证只存在一对多关系
先连接再聚合并不是完全不可行,但前提是整个JOIN链路上,从主表出发,只有一张表是明细展开的,其他表要么是维度表(一行对应主表一行),要么是已经聚合好的结果。例如,如果你只是"订单主表 LEFT JOIN 订单明细表",然后GROUP BY,这完全没问题,因为一对多只展开了一个维度。
但一旦出现两条及以上的展开链路,先连接后聚合就几乎必然会出问题,正如我们在前面翻车现场里看到的。所以在动手前,先画出关系图:主表为中心的星型结构,如果有多张明细子表,尽量拆开处理。
很多有过实战经验的人,会条件反射地使用临时表或CTE,把多张明细表分别算出汇总结果,然后统一关联。这其实不是"畏手畏脚",而是他们曾经被fan out折磨过。
3.3 第三种思路:UNION ALL 语义聚合
还有一种场景,和上面讨论的"多表JOIN"不同,但同样叫多表汇总——你有多张结构相同或者结构相似的表,但它们的含义不一样(比如每月一张的分月流水表,或者不同区域的独立订单表),要得到的是一个全局汇总。这种场景下,许多人第一反应是暴力JOIN,其实完全不对。
需要做的是先用UNION ALL把需要合并的行堆到一起,形成一个大集合,再统一GROUP BY。举个例子,你有1月、2月、3月三张订单明细表,想按商品汇总销量:
sql复制SELECT product_id, SUM(quantity) AS total_quantity
FROM (
SELECT product_id, quantity FROM order_items_01
UNION ALL
SELECT product_id, quantity FROM order_items_02
UNION ALL
SELECT product_id, quantity FROM order_items_03
) t
GROUP BY product_id;
这里的关键词是 UNION ALL,不是 UNION。两者区别在于UNION会去重,而UNION ALL保留所有行。订单明细里的数据,跨月合并时理论上就没有重复的,如果用了UNION,数据库要去重,不仅拖慢性能,还可能因为两行恰好完全一样而被错误地去重,造成汇总少算。所以除非你真的需要跨表去重,否则一律用UNION ALL。这是我见过业务方写错的一个高频细节。
3.4 数据量不大,也可以考虑派生表
如果数据库性能压力不大,明细行数也不多,直接把多张明细表的结果用子查询逐级缓存也是可以的,也就是把步骤分成多个派生表按层嵌套。当然,这种嵌套写多了可读性会变差。这时候可以利用CTE(公共表表达式)来组织SQL,比如:
sql复制WITH item_agg AS (
SELECT order_id, SUM(quantity * unit_price) AS item_amount
FROM order_items
GROUP BY order_id
),
pay_agg AS (
SELECT order_id, SUM(pay_amount) AS paid_amount
FROM payments
GROUP BY order_id
)
SELECT
o.order_id,
o.order_amount,
COALESCE(i.item_amount, 0) AS item_amount,
COALESCE(p.paid_amount, 0) AS paid_amount
FROM orders o
LEFT JOIN item_agg i ON o.order_id = i.order_id
LEFT JOIN pay_agg p ON o.order_id = p.order_id;
CTE写法的好处是逻辑分明,每一段都是独立可读的一步,后续维护的时候不用在一坨子查询里找括号。在SQL Server、PostgreSQL、MySQL 8.0、Oracle等主流数据库里都支持,我强烈建议在复杂汇总里统一使用CTE。
4. 多表连接中过滤条件放错位置,导致汇总结果被悄悄篡改
做多表汇总时,还有一个隐蔽的坑:过滤条件应该放在WHERE里还是ON里,很多人没有深刻理解。这个细节决定了一个订单到底是"汇总为0",还是"直接不显示"。
先看一个例子。你需要统计每个订单的商品金额,但只统计"已发货"的商品明细。有人这么写:
sql复制SELECT
o.order_id,
SUM(oi.quantity * oi.unit_price) AS item_amount
FROM orders o
LEFT JOIN order_items oi
ON o.order_id = oi.order_id
WHERE oi.ship_status = 'shipped';
看起来似乎没毛病,但注意:LEFT JOIN的语义是"主表全保留,匹配不到的右表置NULL"。你在WHERE里添加了一个针对右表字段的筛选,这个筛选会把所有右表为NULL的行过滤掉,于是 LEFT JOIN 悄然变成了 INNER JOIN。如果一个订单压根没有已发货的商品,那它整行都会消失,不会出现在汇总结果里。
如果业务需求是"所有订单都显示,没有已发货明细的显示0",那正确的做法是把筛选条件挪到ON子句里:
sql复制SELECT
o.order_id,
SUM(CASE WHEN oi.ship_status = 'shipped'
THEN oi.quantity * oi.unit_price ELSE 0 END) AS item_amount
FROM orders o
LEFT JOIN order_items oi
ON o.order_id = oi.order_id
AND oi.ship_status = 'shipped'
GROUP BY o.order_id;
这样JOIN发生时就已经把未发货的明细过滤在了外头,主表订单依然完整,汇总的结果是只统计已发货部分,没发货的订单显示0。注意这里我没有在ON里过滤后还用SUM(oi.quantity * oi.unit_price)直接算,而是用了一个CASE WHEN判断。原因稍后细说。
为什么很多老手在写LEFT JOIN汇总时非常谨慎?因为ON与WHERE的差异,在纯JOIN查询里最多是"多一行少一行",但在汇总SQL里,它可能造成整个订单维度的缺失,你最后拿到的聚合结果会比真实情况少了很多行、少了很多订单。这种错误是静默的,不会报错,甚至如果你不核对行数,永远发现不了。
再说一个类似的陷阱:COUNT函数与LEFT JOIN的组合。统计一个订单表里每个订单关联了多少个商品明细,如果某个订单没有明细,LEFT JOIN后右表是NULL,你如果用COUNT(oi.order_id),那NULL会被跳过,结果正确显示0;你如果用COUNT(*),结果会显示1,因为那一行本身还存在。这个细节在多表汇总场景里也经常触发数据不一致。
我自己养成了一个习惯:在写完多表汇总SQL后,先不急着看汇总数字,而是先查一下主表的行数,和最终结果集的行数做对比。如果两者不相等,要么是JOIN过程发生了fan out(行数膨胀),要么是过滤条件把主表数据吞了(行数减少)。行数对不上,后面的所有汇总数字都不可信。这是第一道防线。
5. 多表汇总时的精度、NULL与去重:细节决定报表是否可信
多表汇总,除了JOIN结构本身,还有几个容易被轻视的细节点。这些细节点不属于JOIN语法,但直接影响最终数字的可靠性。
第一是NULL的问题。SUM函数会自动忽略NULL,这看上去是个好事,但有时也会造成错觉。比如 payments 表没有某订单的支付记录,LEFT JOIN之后 paid_amount 是NULL,SUM(NULL)得到NULL,而不是0。如果业务报表直接把NULL展示出来,前端处理不好,页面上就是一片空白或者显示NaN。所以,在多表汇总里,我对每个可能存在NULL的列,都会用COALESCE包一层默认值,让结果干净一些,比如COALESCE(SUM(p.pay_amount), 0)。这不仅仅是展示问题,后续如果要把这些计算结果继续和其他字段做四则运算,NULL传播会让整个表达式变成NULL,导致下游进一步出错。
第二是DECIMAL精度问题。有两张表各自存储金额,一张是单价,一张是数量,你觉得在子查询里用SUM(quantity * unit_price)没问题。但在部分数据库方言里,两个INT相乘的结果会被当成INT,导致单价带了小数被截断。更稳的做法是在计算列上显式指定类型,或者提前把字段CAST成DECIMAL(18,2)。汇总报表一旦出现精度丢失,轻则四舍五入误差,重则连续加总后偏差越来越大,这种问题在项目上线后往往很难解释。
我通常建议金额字段的基础类型就用 DECIMAL(18, 2) 或更精确的 DECIMAL(20, 4) 来存,而不要在计算过程中依赖字段自身的类型。
第三是去重问题。多表汇总经常要从某张表里取唯一维度值,比如统计有支付记录的订单数,你可能会写出:
sql复制SELECT COUNT(DISTINCT o.order_id)
...
这在逻辑上是正确的。但如果订单ID是字符串,且不同来源的数据在拼接时带了空格、大小写不一致,或者有不可见字符,DISTINCT的效果就会打折扣。多表汇总之前,统一清洗关联键和维度字段的格式,是一个很值得做的准备动作。这也是为什么我在团队里一直强调:在写多表汇总前,先把公共维度表建好,统一编码规范,而不是每次汇总都从各张原始业务表里拽一个订单号出来拼。
第四要提醒的是浮点误差。虽然现代数据库在DECIMAL类型上做得很好,但如果你把金额存在 float 或 double 字段里,然后又进行大量SUM,最后可能出现0.1+0.2!=0.3这种匪夷所思的现象,多表汇总后尤其明显。解决思路就是:关键金额字段不要用浮点类型。这类问题有个特点,数据量小的时候看不出毛病,数据量一旦上来,误差积累到某个临界点,对账就是平不上。排查起来极其痛苦。
6. 多表关联后的聚合排序与分页:别让汇总结果看了个寂寞
汇总结果出来了,行数可不少。如果这是一个报表页面的数据源,你大概率要处理排序和分页。多表汇总后排序分页也会有一些细节坑,这里一并说一下。
第一个要问的问题是:你分页是对汇总后结果分页,还是对明细分页?如果是先算出每行是一个订单的总额,然后按总额倒序分页,那在子查询里完成好汇总,外层负责ORDER BY和LIMIT/OFFSET,逻辑很清晰。如果直接在带有明细行的结果上先LIMIT再聚合,那聚合的基数就是不完整的,结果必然错了。
看下面这个错误例子,有人想统计金额最大的前10个订单:
sql复制SELECT order_id, SUM(amount) AS total
FROM order_items
ORDER BY total DESC
LIMIT 10;
这在某些数据库里会直接报错,因为ORDER BY里使用了别名且和聚合混在一起,方言兼容性差;就算某些数据库能跑,如果你加上了复杂的JOIN和GROUP BY,它的执行语义和你想要的也不一定一致。正确的姿势是把聚合放到派生表里,然后外层排序分页:
sql复制SELECT order_id, total
FROM (
SELECT order_id, SUM(amount) AS total
FROM order_items
GROUP BY order_id
) t
ORDER BY total DESC
LIMIT 10;
第二个要提醒的点是汇总表与明细表的连接顺序。有时候你确实需要先分页拿到少量汇总结果,再去查它们的明细,这时候不要把汇总、分页和明细查询一股脑写在一个大JOIN里,而应该用IN或者EXISTS去关联。先在子查询里快速定位到那10个订单ID,然后外层再拼明细,这样既能让明细表查询走索引,又不会因为分页LIMIT提前截断导致关联不全。
这些都是实际调优过程中经常会遇到的场景,很多问题并不复杂,但就是特别容易和多表汇总逻辑混在一起,然后让排查难度翻倍。
分页的排序稳定性也值得注意。如果你的汇总结果的排序键不是唯一的,比如多个订单总额相同,数据库分页时返回的顺序可能不稳定,翻页的时候会出现重复数据。稳妥的做法是ORDER BY里面加一个唯一字段(比如订单ID)作为次级排序键,确保每次翻页顺序是确定的。这不算多表汇总特有的问题,但配合GROUP BY之后的排序经常被忽略,报表翻页出现"上一页看过的数据跑到下一页"就会很尴尬。
7. 用执行计划判断汇总SQL性能瓶颈:多表不一定是坏事
很多朋友一看到多表JOIN,就下意识觉得慢、要优化。这个想法有道理但不全对。多表JOIN本身不慢,慢的是JOIN引起的中间结果集膨胀,以及没有合理利用索引。特别是多表汇总场景,GROUP BY和JOIN顺序会强烈影响性能。
我建议在写完一条多表汇总SQL后,不要急着扔到生产环境跑,先在测试环境执行一下EXPLAIN,看两样东西:
- 驱动表是谁?
- 中间结果集估算行数有多大?
如果数据库选择了某张超大明细表作为驱动表,而且这张表在关联字段上没索引,整个查询就会变成一场灾难。多表汇总里的子查询,如果加了GROUP BY,那子查询内部很可能产生临时表,外部再JOIN临时表,性能就不太好。所以如果两张明细表本身已经很大,你可以考虑先把它们各自聚合的结果写入临时表,在临时表上建好索引,再执行JOIN。
另外一个性能优化思路是:提前裁剪。多表汇总的子查询阶段,尽可能早地加入时间范围、状态条件,不要等JOIN完了再在WHERE里过滤。比如只统计上个月的订单,那订单明细表子查询里先WHERE order_date >= '2025-06-01' AND order_date < '2025-07-01',再GROUP BY。这能大幅减少参与JOIN和聚合的行数。同理,连主表都可以先做条件过滤,减少驱动表行数。
执行计划里还有一个点值得关注:JOIN算法是hash join还是nested loop。对于明细表已经预聚合后的小结果集,hash join往往比较快;但如果子查询预聚合导致结果集依然很大,而关联键上没有索引,nested loop就会反复扫描,慢到怀疑人生。如果你发现一条SQL查了几百万行的明细,跑了几分钟还没出来,多半是这里出了问题。
我个人在排查慢SQL时,有个习惯:如果发现一条多表汇总SQL执行计划里出现了big temporary table,会考虑用"先落地临时表+索引"的方式来优化,而不是继续堆SQL。虽然这打破了"单条SQL完成一切"的美感,但在生产环境里,稳定可控比优雅重要得多。下面是临时表方式的一个示意流程:
sql复制-- 第一步:预聚合订单明细,写入临时表
CREATE TEMPORARY TABLE tmp_item_agg AS
SELECT order_id, SUM(quantity * unit_price) AS item_amount
FROM order_items
WHERE order_date >= '2025-06-01'
AND order_date < '2025-07-01'
GROUP BY order_id;
CREATE INDEX idx_tmp_item ON tmp_item_agg(order_id);
-- 第二步:预聚合支付流水
CREATE TEMPORARY TABLE tmp_pay_agg AS
SELECT order_id, SUM(pay_amount) AS paid_amount
FROM payments
WHERE pay_date >= '2025-06-01'
AND pay_date < '2025-07-01'
GROUP BY order_id;
CREATE INDEX idx_tmp_pay ON tmp_pay_agg(order_id);
-- 第三步:关联主表,汇总输出
SELECT
o.order_id,
COALESCE(ti.item_amount, 0) AS item_amount,
COALESCE(tp.paid_amount, 0) AS paid_amount
FROM orders o
LEFT JOIN tmp_item_agg ti ON o.order_id = ti.order_id
LEFT JOIN tmp_pay_agg tp ON o.order_id = tp.order_id
WHERE o.order_date >= '2025-06-01'
AND o.order_date < '2025-07-01';
这种方式如果做成线上报表的底表,配合定时调度,效果会非常理想。
8. 从"两个表"到"多个表"的心智升级:别再做只会JOIN的搬运工
最后再聊一点方法论层面的东西。很多人写多表汇总,思维模式还停在"把两张表拼起来"的阶段。碰到三张表,就三张表拉平;碰到五张表,就想尽一切办法搞出一个包含所有字段的大宽表,然后FROM一张宽表GROUP BY。这种思路在一定数据量下是能跑的,但它有两个问题:一是当明细表基数差异极大时(比如一张表几千万行,另一张只有几百行),强行拉平会制造无数重复数据,极大浪费计算和存储;二是它会让你逐渐丧失对数据链路的敏感度,出了问题很难快速定位是哪一张表贡献了错误的数据。
多表汇总的正确心智模型,应该是树状的。主表是根,各张维度表和明细表作为不同分支,先各自SHAPE到统一粒度,再汇聚到根节点。你在设计SQL前,先在草稿纸上画一棵这样的树,每一张表进入树之前想清楚它的粒度是明细、是维度、还是聚合结果,这会帮助你规避掉90%以上的汇总错误。
我在带新人的时候,经常让他们做一个思维练习:不看任何表数据,仅根据表结构描述,写出一个多表汇总SQL。如果一个人能先准确地给出"目标粒度、哪些表需要预聚合、哪些字段需要COALESCE、过滤条件放ON还是WHERE",那这个人的SQL水平基本能到中级以上。反之,如果上来就写一个大JOIN,哪怕运行成功,我也建议他再想想。
这种习惯的养成,比学会一两个聚合函数、背下几种JOIN语法要重要得多。毕竟SQL本身只是一种描述性语言,而你要描述的不只是"我要什么",还有"在什么样的数据形状上,得到这样的结果才可能是对的"。
9. 最后一次实战练习:五张表的订单汇总拆解
纸上谈兵再多,不如来一个真实场景的完整拆解。假设我们现在要做一个经营分析报表,涉及五张表:
customers客户维度表(customer_id, customer_name, city, level)orders订单主表(order_id, customer_id, order_date, order_status, order_amount)order_items订单商品明细表(item_id, order_id, product_id, quantity, unit_price)payments支付流水表(payment_id, order_id, pay_amount, pay_time)refunds退款流水表(refund_id, order_id, refund_amount, refund_time)
需求是:统计每个客户在每个月的下单金额、实付金额、退款金额,最终产出客户明细汇总。
我拿到这个需求,先画树:根是"客户×月份";orders 表需要先GROUP BY customer_id + 月份得到该客户当月订单金额;order_items 表其实在"客户-月-订单金额"这个粒度和订单主表相比没有额外贡献订单总额,它更多是商品级分析,如果我们需要统计的是客户下单金额(不是商品销售金额),那它就不应该出现在主链路里,或者仅作为另一个维度的独立结果;payments 表要JOIN订单后再按客户和月份聚合;退款表同理。
考虑到支付和退款都是先关联到订单,再由订单归属到客户和月份,直接拿支付流水与退款流水JOIN也会存在同样的fan out风险。稳妥的做法是:
- 先按订单表算出"每个订单"归属哪个客户、哪个月。
- 支付流水按订单ID聚合得到每单支付总额。
- 退款流水按订单ID聚合得到每单退款总额。
- 再把订单维度的信息、支付聚合结果、退款聚合结果,以订单为粒度关联。
- 最后在外层按客户+月份做一次终极汇总。
写成SQL,大概是:
sql复制WITH order_base AS (
SELECT order_id, customer_id, DATE_FORMAT(order_date, '%Y-%m') AS month
FROM orders
WHERE order_status != 'cancelled'
),
pay_agg AS (
SELECT order_id, SUM(pay_amount) AS paid_amount
FROM payments
GROUP BY order_id
),
refund_agg AS (
SELECT order_id, SUM(refund_amount) AS refund_amount
FROM refunds
GROUP BY order_id
),
order_final AS (
SELECT
o.order_id,
o.customer_id,
o.month,
o.order_amount,
COALESCE(p.paid_amount, 0) AS paid_amount,
COALESCE(r.refund_amount, 0) AS refund_amount
FROM order_base o
LEFT JOIN pay_agg p ON o.order_id = p.order_id
LEFT JOIN refund_agg r ON o.order_id = r.order_id
)
SELECT
customer_id,
month,
SUM(order_amount) AS order_amount,
SUM(paid_amount) AS paid_amount,
SUM(refund_amount) AS refund_amount
FROM order_final
GROUP BY customer_id, month;
在这条SQL里,pay_agg和refund_agg先各自收敛到订单粒度,保证order_final里一单一行,没有交叉放大;最后再按客户月度做统一的汇总。其中根本看不到order_items表,因为本次需求是订单金额口径,不需要商品明细表;如果你要算商品销量、价格带之类的指标,再把order_items单独按商品粒度拆一个汇总结果,而不是硬塞进同一个JOIN。
这套"先归并到统一粒度再逐层向上聚合"的思路,在ETL里其实等同于一层一层的建模。别看它简单,我在实际业务里拿这套方法处理过不少看起来无比复杂的需求,最后都能拆成清晰的几步。遇到特别复杂的,就把每一步写成一张临时表或一个物理视图,层层递进,最终得到的结果,既好理解,也好维护。SQL写多了你会发现,高级技巧大多只是锦上添花,真正撑起可靠性的,永远是清晰的链路和克制的写法。
多表汇总这条路,从两张表到多张表,最大的障碍从来不是语法,而是你愿不愿意在敲下第一行SQL前,先花三分钟把数据和粒度想明白。这一步省了,后面省下的可能是一整天的排查时间。
