SQL数据库去重实战：识别与删除重复行方法大全-代码聚汇网

SQL数据库去重实战：识别与删除重复行方法大全

苏黎世贝勒爷·2026-08-22·阅读 22 GEO检测（免费）

SQL去重数据库优化ROW_NUMBER

|难度：普通|阅读约 20 分钟

1. 为什么我们需要删除重复行？

在日常数据库操作中，数据重复是一个常见但令人头疼的问题。想象一下你正在管理一个客户数据库，突然发现同一位客户的联系信息被重复录入了三次；或者你正在分析销售数据，却发现相同的交易记录被多次记录。这不仅浪费存储空间，更会导致数据分析结果严重失真。

重复数据产生的原因多种多样：可能是ETL过程中的错误、应用程序逻辑缺陷、缺乏适当的约束条件，或者仅仅是人为操作失误。无论原因如何，识别并清理这些重复数据对于维护数据质量和确保业务决策准确性至关重要。

重要提示：在执行任何删除操作前，务必先备份数据！DELETE操作是不可逆的，一个错误的删除可能导致灾难性后果。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 识别重复行的多种方法

2.1 使用GROUP BY和HAVING子句

最基础的重复行识别方法是使用GROUP BY结合HAVING子句。这种方法特别适合需要基于特定列组合查找重复的情况。

sql复制SELECT column1, column2, COUNT(*)
FROM your_table
GROUP BY column1, column2
HAVING COUNT(*) > 1;

这个查询会返回所有在column1和column2组合上出现多次的行及其出现次数。例如，在一个员工表中查找姓名和出生日期相同的记录：

sql复制SELECT first_name, last_name, birth_date, COUNT(*) as duplicate_count
FROM employees
GROUP BY first_name, last_name, birth_date
HAVING COUNT(*) > 1
ORDER BY duplicate_count DESC;

2.2 使用窗口函数ROW_NUMBER()

对于更复杂的去重场景，窗口函数提供了更灵活的控制。ROW_NUMBER()函数可以为每行分配一个唯一的序号，基于指定的分区和排序条件。

sql复制SELECT *,
       ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id) as row_num
FROM your_table;

在这个查询中，PARTITION BY子句定义了哪些列的组合构成重复，ORDER BY子句决定了在重复组中保留哪一行（通常是保留row_num=1的行）。

2.3 使用EXISTS或IN子查询

对于某些数据库系统或特定场景，使用EXISTS或IN子查询可能是更高效的选择：

sql复制SELECT *
FROM your_table t1
WHERE EXISTS (
    SELECT 1
    FROM your_table t2
    WHERE t1.column1 = t2.column1
    AND t1.column2 = t2.column2
    AND t1.id > t2.id  -- 假设id是主键，保留较小的id
);

这种方法特别适合在大型表上操作，因为它可以利用索引提高查询效率。

3. 删除重复行的实战方法

3.1 使用CTE和ROW_NUMBER()删除重复行

现代SQL实现（如SQL Server、PostgreSQL等）中，公用表表达式(CTE)结合ROW_NUMBER()是最优雅的解决方案之一：

sql复制WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id) as row_num
    FROM your_table
)
DELETE FROM CTE
WHERE row_num > 1;

这个方法的优势在于：

清晰定义了什么是重复（PARTITION BY部分）
明确指定保留哪一行（ORDER BY部分）
单条语句完成识别和删除操作

3.2 使用临时表方法

对于不支持CTE或需要更细粒度控制的场景，可以使用临时表方法：

sql复制-- 步骤1：创建临时表存储要保留的行
CREATE TABLE temp_table AS
SELECT MIN(id) as id  -- 或其他决定保留行的逻辑
FROM your_table
GROUP BY column1, column2;

-- 步骤2：删除不在临时表中的行
DELETE FROM your_table
WHERE id NOT IN (SELECT id FROM temp_table);

-- 步骤3：清理临时表
DROP TABLE temp_table;

这种方法虽然步骤较多，但在处理超大型表时可能更高效，因为可以分批操作。

3.3 使用自连接删除重复行

自连接是另一种经典的删除重复行方法，特别适合简单的重复定义：

sql复制DELETE t1
FROM your_table t1
INNER JOIN your_table t2
ON t1.column1 = t2.column1
AND t1.column2 = t2.column2
AND t1.id > t2.id;  -- 保留id较小的行

注意事项：自连接在大表上性能可能较差，建议在非高峰期执行或在测试环境验证后再操作。

4. 高级场景与特殊处理

4.1 处理部分列重复的情况

有时我们只关心某些列的重复，而其他列可能不同。例如，客户表中姓名和电话相同视为重复，但地址可能不同：

sql复制WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER(
               PARTITION BY first_name, last_name, phone
               ORDER BY last_update_date DESC  -- 保留最近更新的记录
           ) as row_num
    FROM customers
)
DELETE FROM CTE
WHERE row_num > 1;

4.2 处理大型表的性能优化

对于包含数百万行的大型表，直接删除可能导致性能问题或事务日志爆满。可以考虑以下策略：

分批删除：

sql复制-- 每次删除1000行重复数据
WHILE EXISTS (SELECT 1 FROM your_table GROUP BY column1, column2 HAVING COUNT(*) > 1)
BEGIN
    DELETE TOP (1000) t1
    FROM your_table t1
    INNER JOIN (
        SELECT column1, column2, MIN(id) as min_id
        FROM your_table
        GROUP BY column1, column2
        HAVING COUNT(*) > 1
    ) t2 ON t1.column1 = t2.column1 AND t1.column2 = t2.column2
    WHERE t1.id > t2.min_id;
END

使用表交换技术：

sql复制-- 步骤1：创建去重后的新表
SELECT DISTINCT column1, column2, ... INTO new_table FROM original_table;

-- 步骤2：重命名表
EXEC sp_rename 'original_table', 'original_table_backup';
EXEC sp_rename 'new_table', 'original_table';

-- 步骤3：重建索引和约束（略）

4.3 不同数据库系统的特殊语法

不同数据库系统可能有自己的优化语法：

MySQL:

sql复制DELETE t1 FROM your_table t1
INNER JOIN your_table t2
WHERE t1.id > t2.id AND t1.column1 = t2.column1 AND t1.column2 = t2.column2;

Oracle:

sql复制DELETE FROM your_table
WHERE rowid NOT IN (
    SELECT MIN(rowid)
    FROM your_table
    GROUP BY column1, column2
);

PostgreSQL:

sql复制DELETE FROM your_table
WHERE ctid NOT IN (
    SELECT MIN(ctid)
    FROM your_table
    GROUP BY column1, column2
);

5. 预防重复数据的策略

5.1 使用约束防止重复

最有效的预防措施是在数据库设计阶段就添加适当的约束：

主键约束：确保每行有唯一标识

sql复制ALTER TABLE your_table ADD PRIMARY KEY (id);

唯一约束：防止特定列组合重复

sql复制ALTER TABLE your_table ADD CONSTRAINT uq_columns UNIQUE (column1, column2);

唯一索引：功能类似唯一约束，但可以包含更多选项

sql复制CREATE UNIQUE INDEX idx_unique_columns ON your_table (column1, column2);

5.2 使用MERGE或UPSERT操作

现代数据库系统提供了MERGE或UPSERT（INSERT ON CONFLICT）语法，可以原子性地处理可能的重复：

SQL Server:

sql复制MERGE INTO target_table AS target
USING source_table AS source
ON target.key_column = source.key_column
WHEN MATCHED THEN
    UPDATE SET target.column1 = source.column1, ...
WHEN NOT MATCHED THEN
    INSERT (column1, column2, ...) VALUES (source.column1, source.column2, ...);

PostgreSQL:

sql复制INSERT INTO your_table (column1, column2, ...)
VALUES (value1, value2, ...)
ON CONFLICT (column1, column2) 
DO UPDATE SET column3 = EXCLUDED.column3, ...;

5.3 应用层校验

除了数据库层面的防护，应用层也应该实现重复检查：

插入前查询检查
实现乐观锁机制
添加适当的业务逻辑验证

6. 实战案例：电商订单去重

让我们看一个真实案例：一个电商系统发现由于网络问题导致部分订单被重复创建。我们需要清理这些重复订单，保留最早创建的记录。

6.1 分析重复模式

首先确认重复订单的特征：

相同的user_id
相同的product_id
相同的order_date（精确到分钟）
相同的total_amount

6.2 编写去重SQL

sql复制-- 步骤1：识别重复订单
SELECT user_id, product_id, 
       DATE_FORMAT(order_date, '%Y-%m-%d %H:%i') as order_minute,
       total_amount, COUNT(*) as duplicate_count
FROM orders
GROUP BY user_id, product_id, DATE_FORMAT(order_date, '%Y-%m-%d %H:%i'), total_amount
HAVING COUNT(*) > 1
ORDER BY duplicate_count DESC;

-- 步骤2：删除重复订单（保留最早的记录）
WITH DuplicateOrders AS (
    SELECT order_id,
           ROW_NUMBER() OVER(
               PARTITION BY user_id, product_id, 
                           DATE_FORMAT(order_date, '%Y-%m-%d %H:%i'), total_amount
               ORDER BY order_date
           ) as row_num
    FROM orders
)
DELETE FROM orders
WHERE order_id IN (
    SELECT order_id FROM DuplicateOrders WHERE row_num > 1
);

6.3 验证结果

sql复制-- 检查是否还有重复
SELECT user_id, product_id, 
       DATE_FORMAT(order_date, '%Y-%m-%d %H:%i') as order_minute,
       total_amount, COUNT(*) as remaining_count
FROM orders
GROUP BY user_id, product_id, DATE_FORMAT(order_date, '%Y-%m-%d %H:%i'), total_amount
HAVING COUNT(*) > 1;

-- 比较删除前后的记录数
SELECT COUNT(*) as total_orders FROM orders;

7. 常见问题与解决方案

7.1 删除操作被阻塞

在大表上执行删除操作可能会遇到锁问题。解决方案：

在低峰期执行
分批删除
调整事务隔离级别
使用NOLOCK提示（谨慎使用）

7.2 删除后空间未释放

在某些数据库中，删除操作不会立即释放空间。解决方法：

执行表重建或索引重组
使用SHRINK DATABASE命令（SQL Server）
使用VACUUM命令（PostgreSQL）

7.3 误删数据后的恢复

如果误删了数据，可以尝试：

从备份恢复
使用事务日志恢复工具
检查数据库的闪回功能（Oracle、MySQL 8.0+）

7.4 性能优化技巧

为用于识别重复的列创建适当的索引
在删除前禁用非关键索引，删除后重建
考虑使用临时表或表变量存储中间结果
调整数据库参数（如增大tempdb空间）

8. 工具与扩展建议

8.1 数据库管理工具

SQL Server Management Studio (SSMS)
MySQL Workbench
pgAdmin for PostgreSQL
DBeaver（多数据库支持）

这些工具通常提供图形界面帮助识别和删除重复数据。

8.2 数据质量监控

考虑实现定期的数据质量检查：

定期运行重复检查查询
设置数据质量警报
实现自动化清理作业

8.3 扩展学习资源

窗口函数高级用法（RANK(), DENSE_RANK()等）
数据库特定的优化技术
ETL工具中的去重组件（如SSIS、Informatica等）
数据仓库中的缓慢变化维(SCD)处理

在实际工作中，我发现最有效的去重策略是预防为主、清理为辅。通过合理的数据库设计、应用层校验和定期维护，可以大幅减少重复数据的产生。当确实需要清理时，一定要先在测试环境验证SQL语句，并确保有完整的备份和回滚计划。