金宇澄1. 问题场景与核心需求
在数据库日常运维中，数据质量监控是个永恒话题。上周我遇到个典型场景：某金融系统的客户信息表中，业务规则要求"证件类型+证件号码+开户行代码"组合必须唯一，但导入历史数据时却触发了重复主键报错。这种多列组合的唯一性校验，正是MS SQL Server中常见的排查需求。
不同于单列去重（DISTINCT或GROUP BY就能解决），多列组合判重需要更精细的操作。比如人力资源系统中"姓名+出生日期+部门"不能重复，物流系统中"运单号+货物编码+批次号"必须唯一，这些都是典型的复合唯一性约束场景。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 基础排查方案对比
2.1 自连接查询法
最直观的方法是自连接查询，适合数据量较小的情况：
sql复制SELECT a.*
FROM 客户表 a
JOIN 客户表 b ON a.证件类型 = b.证件类型
AND a.证件号码 = b.证件号码
AND a.开户行代码 = b.开户行代码
WHERE a.记录ID != b.记录ID
注意：务必添加记录ID不等条件，否则会查出所有记录自连接
执行计划分析：
- 会产生N²量级的临时结果集
- 百万级数据时可能出现内存溢出
- 适合快速验证小规模数据
2.2 GROUP BY+HAVING方案
更高效的写法是利用GROUP BY配合HAVING计数：
sql复制SELECT 证件类型, 证件号码, 开户行代码, COUNT(*) as 重复次数
FROM 客户表
GROUP BY 证件类型, 证件号码, 开户行代码
HAVING COUNT(*) > 1
优势对比：
| 方法 | 时间复杂度 | 适合数据量 | 结果可读性 |
|---|---|---|---|
| 自连接 | O(n²) | <10万行 | 显示完整重复记录 |
| GROUP BY | O(n logn) | 百万级 | 仅显示重复键值 |
3. 高级排查技巧
3.1 窗口函数方案
对于需要同时显示重复记录明细的场景，推荐使用窗口函数：
sql复制WITH 重复标记 AS (
SELECT *,
COUNT(*) OVER(PARTITION BY 证件类型, 证件号码, 开户行代码) as 重复计数
FROM 客户表
)
SELECT * FROM 重复标记 WHERE 重复计数 > 1
ORDER BY 证件类型, 证件号码, 开户行代码
执行效率对比测试（100万行数据）：
- 自连接：38秒
- GROUP BY：4.2秒
- 窗口函数：3.8秒（且能保留完整字段）
3.2 临时表加速方案
当需要多次分析相同字段组合时，可预先创建索引临时表：
sql复制-- 创建带索引的临时表
SELECT 证件类型, 证件号码, 开户行代码,
COUNT(*) as 重复次数
INTO #重复结果
FROM 客户表
GROUP BY 证件类型, 证件号码, 开户行代码
HAVING COUNT(*) > 1
CREATE CLUSTERED INDEX IX_重复查询 ON #重复结果(证件类型, 证件号码, 开户行代码)
-- 关联查询明细
SELECT a.*
FROM 客户表 a
JOIN #重复结果 b ON a.证件类型 = b.证件类型
AND a.证件号码 = b.证件号码
AND a.开户行代码 = b.开户行代码
4. 性能优化实践
4.1 索引设计建议
针对高频使用的多列组合查询，应创建复合索引：
sql复制CREATE INDEX IX_客户唯一性检查 ON 客户表(证件类型, 证件号码, 开户行代码)
索引设计原则：
- 将选择性最高的列放在前面（如证件号码）
- 索引列顺序必须与查询条件顺序一致
- 考虑INCLUDE额外字段避免键查找
4.2 参数化查询技巧
在应用程序中调用时，建议使用参数化查询：
csharp复制string sql = @"
WITH 重复检查 AS (
SELECT *, COUNT(*) OVER(PARTITION BY @col1, @col2, @col3) as cnt
FROM @table
)
SELECT * FROM 重复检查 WHERE cnt > 1";
SqlCommand cmd = new SqlCommand(sql);
cmd.Parameters.AddWithValue("@col1", "证件类型");
cmd.Parameters.AddWithValue("@col2", "证件号码");
cmd.Parameters.AddWithValue("@col3", "开户行代码");
5. 特殊场景处理
5.1 NULL值处理
当组合列中包含NULL值时，需特别注意：
sql复制-- 默认情况下NULL与任何值不等（包括NULL本身）
SELECT COUNT(*)
FROM 客户表
WHERE 证件类型 IS NULL
AND 证件号码 IS NULL
AND 开户行代码 IS NULL
-- 如需将NULL视为相等，需改用IS NULL判断
SELECT a.*
FROM 客户表 a
JOIN 客户表 b ON
(a.证件类型 IS NULL AND b.证件类型 IS NULL OR a.证件类型 = b.证件类型)
AND (a.证件号码 IS NULL AND b.证件号码 IS NULL OR a.证件号码 = b.证件号码)
AND (a.开户行代码 IS NULL AND b.开户行代码 IS NULL OR a.开户行代码 = b.开户行代码)
WHERE a.记录ID != b.记录ID
5.2 大数据量分页处理
当处理千万级数据时，建议采用分批处理：
sql复制DECLARE @BatchSize INT = 50000
DECLARE @MaxID INT = (SELECT MAX(记录ID) FROM 客户表)
DECLARE @CurrentID INT = 0
WHILE @CurrentID < @MaxID
BEGIN
WITH 当前批次 AS (
SELECT TOP (@BatchSize) *
FROM 客户表
WHERE 记录ID > @CurrentID
ORDER BY 记录ID
)
SELECT 证件类型, 证件号码, 开户行代码, COUNT(*) as 重复次数
FROM 当前批次
GROUP BY 证件类型, 证件号码, 开户行代码
HAVING COUNT(*) > 1
SET @CurrentID = (SELECT MAX(记录ID) FROM 当前批次)
END
6. 自动化监控方案
对于需要持续监控的场景，可以创建定时作业：
sql复制-- 创建监控存储过程
CREATE PROCEDURE sp_监控重复客户
AS
BEGIN
INSERT INTO 重复记录日志(检查时间, 重复组合数)
SELECT GETDATE(), COUNT(*)
FROM (
SELECT 证件类型, 证件号码, 开户行代码
FROM 客户表 WITH(NOLOCK)
GROUP BY 证件类型, 证件号码, 开户行代码
HAVING COUNT(*) > 1
) t
-- 发送邮件警报
IF @@ROWCOUNT > 0
EXEC msdb.dbo.sp_send_dbmail
@recipients = 'dba@company.com',
@subject = '客户数据重复警报',
@body = '检测到客户信息表中存在重复的三要素组合'
END
-- 创建每天执行的作业
USE msdb
EXEC dbo.sp_add_jobstep
@job_name = '数据质量监控',
@step_name = '检查客户重复',
@subsystem = 'TSQL',
@command = 'EXEC 业务库.dbo.sp_监控重复客户',
@database_name = '业务库'
7. 可视化分析技巧
使用PIVOT可以更直观展示重复模式：
sql复制WITH 重复基础 AS (
SELECT
证件类型,
证件号码,
开户行代码,
COUNT(*) OVER(PARTITION BY 证件类型, 证件号码, 开户行代码) as 重复次数
FROM 客户表
)
SELECT 证件类型, [重复1-5次],[重复6-10次],[重复10次以上]
FROM (
SELECT
证件类型,
CASE WHEN 重复次数 BETWEEN 1 AND 5 THEN '重复1-5次'
WHEN 重复次数 BETWEEN 6 AND 10 THEN '重复6-10次'
ELSE '重复10次以上' END as 重复范围
FROM 重复基础
WHERE 重复次数 > 1
) AS SourceTable
PIVOT (
COUNT(重复范围)
FOR 重复范围 IN ([重复1-5次],[重复6-10次],[重复10次以上])
) AS PivotTable
8. 实战经验总结
-
字段选择陷阱：某次排查时发现"看起来"重复的记录，实际是因将varchar和nvarchar混用导致："123" ≠ "123 "（尾部空格）
-
性能调优案例：对5亿行表优化时，发现使用INCLUDE索引比复合索引快3倍：
sql复制CREATE INDEX IX_优化查询 ON 大表(列1,列2) INCLUDE (列3,列4) -
字符集问题：当包含中文时，注意排序规则影响：
sql复制-- 显式指定排序规则 SELECT * FROM 表 WHERE 姓名 COLLATE Chinese_PRC_CI_AS = '张三' -
临时表妙用：对于超大型表，可先抽样检查：
sql复制SELECT TOP 10000 列1,列2,列3, COUNT(*) FROM 大表 WITH(TABLOCK) GROUP BY 列1,列2,列3 HAVING COUNT(*) > 1 -
执行计划重点：关注Hash Match和Sort警告，当出现这些操作时应考虑优化索引