数据库集合查询：UNION、INTERSECT与EXCEPT实战指南

1. 数据库集合查询的核心概念与应用场景

在数据库系统中，集合查询是处理多表数据关联操作的核心技术手段。不同于基础的单表查询，集合查询允许我们将多个SELECT语句的结果集通过特定的集合运算符进行组合，从而解决复杂的数据检索需求。这种查询方式特别适合需要合并、比较或排除多个数据集合的业务场景。

集合查询主要包含三种基本操作：

• UNION（并集）：合并两个查询结果并自动去重
• INTERSECT（交集）：返回两个查询共有的记录
• EXCEPT（差集）：返回第一个查询有而第二个查询没有的记录

实际业务中常见的应用场景包括：

1. 多分支机构销售数据汇总（使用UNION）
2. 找出同时满足两个条件的客户名单（使用INTERSECT）
3. 筛选出未完成订单的用户（使用EXCEPT）

注意：不同数据库系统对集合操作的支持存在差异。例如MySQL 8.0以下版本不支持INTERSECT和EXCEPT操作，而Oracle、PostgreSQL等企业级数据库则完整支持所有集合运算。

2. UNION操作详解与性能优化

2.1 基础UNION语法与实践

UNION操作是将两个或多个SELECT语句的结果集合并为一个结果集的标准方法。其基本语法结构如下：

sql复制SELECT column1, column2 FROM table1
UNION [ALL]
SELECT column1, column2 FROM table2

关键特性说明：

• 默认情况下UNION会自动去除重复行
• 使用UNION ALL可以保留所有行（包括重复行），且性能更高
• 每个SELECT语句必须有相同数量的列
• 对应列的数据类型必须兼容

实际案例：假设我们需要合并2022年和2023年的销售记录：

sql复制-- 合并两年销售数据（自动去重）
SELECT product_id, sale_date, amount FROM sales_2022
UNION
SELECT product_id, sale_date, amount FROM sales_2023;

-- 合并并保留所有记录（包括重复）
SELECT product_id, sale_date, amount FROM sales_2022
UNION ALL
SELECT product_id, sale_date, amount FROM sales_2023;

2.2 UNION性能优化技巧

1. 列选择优化：

   • 只选择必要的列，避免SELECT *
   • 确保对应列的数据类型一致，减少隐式转换

2. 索引利用：

   • 为UNION中各SELECT的WHERE条件列建立合适索引
   • 对排序字段建立复合索引（当使用ORDER BY时）

3. 执行计划分析：

   sql复制EXPLAIN 
   SELECT product_id FROM products_A
   UNION
   SELECT product_id FROM products_B;
   

4. 大数据集处理：

   • 对于超大型表，考虑分批次UNION
   • 使用临时表存储中间结果

我在实际项目中发现，当UNION操作涉及大表时，使用UNION ALL配合后续的DISTINCT操作有时比直接使用UNION性能更好，特别是在已知重复数据很少的情况下。

3. INTERSECT与EXCEPT的高级应用

3.1 交集操作实战

INTERSECT用于找出两个查询结果共有的记录，相当于数学中的集合交集运算。典型应用场景包括：

• 找出同时购买过A和B产品的客户
• 筛选同时满足多个条件的员工记录

MySQL 8.0以下版本实现INTERSECT的替代方案：

sql复制-- 使用INNER JOIN模拟INTERSECT
SELECT DISTINCT a.* FROM 
(SELECT customer_id FROM orders_A) a
INNER JOIN 
(SELECT customer_id FROM orders_B) b
ON a.customer_id = b.customer_id;

-- 使用EXISTS实现
SELECT DISTINCT customer_id FROM orders_A a
WHERE EXISTS (
    SELECT 1 FROM orders_B b 
    WHERE b.customer_id = a.customer_id
);

3.2 差集操作的特殊处理

EXCEPT（在MySQL中称为MINUS）返回第一个查询有而第二个查询没有的记录。常见使用场景：

• 找出未完成订单的用户
• 筛选未通过审核的产品

MySQL中的替代实现：

sql复制-- 使用LEFT JOIN模拟EXCEPT
SELECT a.* FROM 
(SELECT customer_id FROM all_customers) a
LEFT JOIN 
(SELECT customer_id FROM vip_customers) b
ON a.customer_id = b.customer_id
WHERE b.customer_id IS NULL;

-- 使用NOT EXISTS实现
SELECT customer_id FROM orders_A a
WHERE NOT EXISTS (
    SELECT 1 FROM orders_B b 
    WHERE b.customer_id = a.customer_id
);

4. 集合查询的复合应用与常见问题排查

4.1 多集合复合运算

实际业务中经常需要组合使用多个集合操作：

sql复制-- 找出购买过A产品但未购买B或C产品的客户
(SELECT customer_id FROM product_A_purchasers)
EXCEPT
(
    (SELECT customer_id FROM product_B_purchasers)
    UNION
    (SELECT customer_id FROM product_C_purchasers)
);

4.2 常见错误与解决方案

1. 列数不匹配错误：

   sql复制-- 错误示例
   SELECT id, name FROM employees
   UNION
   SELECT id FROM departments;  -- 列数不一致
   

2. 数据类型不兼容：

   sql复制-- 错误示例
   SELECT product_id FROM products  -- product_id是INT类型
   UNION
   SELECT category_code FROM categories;  -- category_code是VARCHAR类型
   

3. 性能问题排查：

   • 检查各子查询的执行计划
   • 确保WHERE条件使用了索引
   • 考虑使用临时表分解复杂查询

4. 排序注意事项：

   sql复制-- 正确做法：ORDER BY应用于整个UNION结果
   SELECT name FROM employees
   UNION
   SELECT name FROM customers
   ORDER BY name;
   
   -- 错误做法：不能单独排序部分查询
   SELECT name FROM employees ORDER BY name
   UNION
   SELECT name FROM customers;
   

4.3 不同数据库的语法差异

对于需要跨数据库兼容的应用，建议使用标准SQL实现方式（JOIN/EXISTS等）替代特定的集合操作语法。

5. 集合查询在复杂业务场景中的实战案例

5.1 电商平台数据分析

场景：分析同时购买电子产品和家居用品的优质客户

sql复制-- 优质客户标准：近一年消费超过5000元
WITH high_value_customers AS (
    SELECT customer_id 
    FROM orders 
    WHERE order_date > DATE_SUB(NOW(), INTERVAL 1 YEAR)
    GROUP BY customer_id 
    HAVING SUM(amount) > 5000
),

-- 电子产品购买客户
electronic_buyers AS (
    SELECT DISTINCT customer_id 
    FROM order_details od
    JOIN products p ON od.product_id = p.product_id
    WHERE p.category = 'Electronics'
),

-- 家居用品购买客户
home_buyers AS (
    SELECT DISTINCT customer_id 
    FROM order_details od
    JOIN products p ON od.product_id = p.product_id
    WHERE p.category = 'Home'
)

-- 最终查询：优质客户且同时购买两类商品
SELECT c.* 
FROM customers c
JOIN high_value_customers hvc ON c.customer_id = hvc.customer_id
WHERE c.customer_id IN (
    SELECT customer_id FROM electronic_buyers
    INTERSECT
    SELECT customer_id FROM home_buyers
);

5.2 人力资源管理系统应用

场景：找出具备Java和Python技能但不会C++的开发人员

sql复制-- Java开发人员
WITH java_devs AS (
    SELECT employee_id 
    FROM employee_skills
    WHERE skill_name = 'Java'
),

-- Python开发人员
python_devs AS (
    SELECT employee_id 
    FROM employee_skills
    WHERE skill_name = 'Python'
),

-- C++开发人员
cpp_devs AS (
    SELECT employee_id 
    FROM employee_skills
    WHERE skill_name = 'C++'
)

-- 结果查询
SELECT e.employee_id, e.employee_name
FROM employees e
JOIN (
    (SELECT employee_id FROM java_devs)
    INTERSECT
    (SELECT employee_id FROM python_devs)
    EXCEPT
    (SELECT employee_id FROM cpp_devs)
) skill_match ON e.employee_id = skill_match.employee_id;

6. 集合查询的性能调优与最佳实践

6.1 执行计划分析与优化

理解集合查询的执行计划对性能调优至关重要。以下是典型UNION查询的执行计划分析：

sql复制EXPLAIN ANALYZE
SELECT product_id FROM inventory_2022
UNION
SELECT product_id FROM inventory_2023;

关键优化点：

1. 避免全表扫描：确保每个子查询都有效利用索引
2. 临时表优化：适当调整tmp_table_size和max_heap_table_size参数
3. 并行处理：某些数据库支持并行执行UNION的子查询

6.2 替代方案性能对比

在某些场景下，使用JOIN或EXISTS可能比集合操作更高效：

6.3 最佳实践总结

1. 数据量预估：小数据集优先考虑代码清晰度，大数据集优先考虑性能
2. 索引策略：
   • 为WHERE条件中的列创建索引
   • 考虑为ORDER BY列创建复合索引
3. 分页处理：对于结果集很大的查询，实现分页时应在外部处理：

   sql复制(SELECT * FROM table1)
   UNION
   (SELECT * FROM table2)
   LIMIT 10 OFFSET 20;
   

4. 事务隔离：长时间运行的集合查询应考虑使用READ COMMITTED隔离级别

我在实际项目中处理过一个包含千万级记录的UNION查询优化案例。最初查询需要25秒完成，通过以下优化手段最终降至3秒内：

• 为所有子查询添加了合适的复合索引
• 使用UNION ALL替代UNION，在应用层处理去重
• 调整了数据库的排序缓冲区大小
• 将部分计算转移到应用服务器进行