做 MySQL 开发的同学,几乎都会遇到同一个需求:数据去重。不仅面试官爱问,业务开发里也是高频场景——订单表重复下单、用户表重复注册、日志表重复采集,这些脏数据如果不清理,统计报表、分页列表、下游同步全都会出错。这篇文章我从实际开发角度,把 MySQL 里最常用的 3 种去重方式一次性讲透:DISTINCT 查询去重、GROUP BY 分组去重、ROW_NUMBER() 窗口函数加物理删除。适合正在做数据清洗、写报表 SQL、准备 MySQL 面试的朋友,看完可以直接拿去用。
1. 先搞清楚重复的定义,否则去重方向都是错的
1.1 业务上的重复,不等于整行完全重复
很多刚接触去重的人,第一反应是“找出一模一样的行然后删掉”。但真实业务里,完全重复的行非常少见,更常见的是业务关键字段重复。
我举个例子。订单表 orders 里有 id、user_id、order_no、amount、create_time。正常情况下一个订单号 order_no 只对应一条记录。但由于接口超时重试、批量导入脚本跑了两遍等原因,同一条订单可能被插入了两次,只有 id 不一样,其他字段完全相同,这是一种;还有一种是 order_no 相同,但 amount 或 create_time 因为后续更新产生了差异,这也叫重复。
所以去重前第一步,不是急着写 SQL,而是先确认:以哪些列作为重复判断依据。是 order_no 单字段,还是 user_id + order_date 这种组合字段?这一步搞错,后面全白做。
1.2 去重前先回答三个问题
我一般会要求自己和团队在动手前,先回答清楚三个问题:
- 判断重复的列是哪些? 比如
order_no,还是user_id + create_time。 - 重复数据保留哪一条? 保留最小的
id、最新的create_time、还是状态优先的那条?这个决定直接影响了 SQL 里的ORDER BY怎么写。 - 去重范围是全表还是局部? 是清洗全部历史数据,还是只处理最近一个月?范围越大,锁竞争和回滚风险越高。
这三个问题不明确,写出来的去重 SQL 大概率是错的。我见过不止一次,有人兴冲冲把重复数据删完,结果发现保留的是旧数据,新数据全没了。
1.3 先用一条 SQL 摸清重复量
在动任何 DELETE 之前,先做数据体检。下面这几条 SQL 几乎是每次去重前的标配:
sql复制-- 总行数
SELECT COUNT(*) AS total_cnt FROM orders;
-- 按订单号去重后的行数
SELECT COUNT(DISTINCT order_no) AS distinct_cnt FROM orders;
-- 查看重复组和重复次数
SELECT order_no, COUNT(*) AS cnt
FROM orders
GROUP BY order_no
HAVING cnt > 1
ORDER BY cnt DESC
LIMIT 20;
通过前两条能快速算出“多出来多少条”,第三条能直接看到重复最严重的订单号。这一步的成本很低,但能帮你决定后面用哪种方案,也方便删除后做验证对比。不要跳过,更不要直接拿个备份文件就开始删。
(提示:如果你的表已经有唯一约束,那理论上不会产生重复。出现重复数据,要么是约束没建,要么是 INSERT 时用了 IGNORE 或 ON DUPLICATE KEY UPDATE 之类的逻辑绕过了约束。)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 方式一:DISTINCT,适合“只查不删”的轻量去重
2.1 基本用法
DISTINCT 是最直观的去重方式,语义就是“把查询结果里重复的行合并成一行”。
sql复制SELECT DISTINCT city FROM users;
这条 SQL 能拿到所有不重复的城市列表。多列时要注意,它是对列组合去重,不是对单列去重:
sql复制SELECT DISTINCT city, age FROM users;
上面这句的意思是:city 和 age 都相同的行才被合并。如果你想看“所有不重复的城市”,那就不能把 age 放进去,否则同一个城市只要年龄不同,就会输出多行。
2.2 几个容易踩的细节
第一,DISTINCT 会把 NULL 当做一个普通值参与去重。也就是说,如果某列有 3 行是 NULL,SELECT DISTINCT 后只会出现一行 NULL。这一点在统计时要注意,比如 COUNT(DISTINCT col) 并不会把 NULL 计入数量。
第二,DISTINCT 不能只作用于部分列。像下面这种写法是语法错误:
sql复制-- 错误示例
SELECT id, DISTINCT order_no FROM orders;
因为 id 本身不重复,加上 DISTINCT order_no 后,结果集会变成什么?MySQL 直接不允许这种模棱两可的查询。
第三,COUNT(DISTINCT ...) 是非常高频的统计写法:
sql复制SELECT COUNT(DISTINCT order_no) FROM orders;
它和 SELECT DISTINCT 是两回事,一个是计数,一个是返回明细,但都叫“
