大厂男孩的粉丝1. 为什么我们需要批处理优化？
在数据库操作中，单条SQL语句的执行往往伴随着不小的开销。每次执行SQL都需要经历网络传输、SQL解析、执行计划生成、锁竞争等一系列过程。当我们需要处理大量数据时，这种逐条操作的方式会带来严重的性能问题。
以一个实际案例为例：某电商平台需要每天导入10万条商品评价数据。如果采用传统的逐条插入方式，假设每条插入耗时50ms，那么总耗时将达到5000秒（约83分钟）。而使用批处理技术后，同样的数据量可能只需要5-10秒就能完成。
批处理优化的核心价值在于：
- 减少网络往返次数
- 降低SQL解析开销
- 共享执行计划
- 减少锁竞争频率
- 提高事务处理效率
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. JDBC批处理实现详解
2.1 基础批处理实现
JDBC提供了标准的批处理接口，使用起来相当直观。以下是基本的实现步骤：
java复制Connection connection = dataSource.getConnection();
connection.setAutoCommit(false); // 关闭自动提交
PreparedStatement ps = connection.prepareStatement(
"INSERT INTO products (name, price) VALUES (?, ?)");
for (Product product : productList) {
ps.setString(1, product.getName());
ps.setDouble(2, product.getPrice());
ps.addBatch(); // 添加到批处理
// 每1000条执行一次批处理
if (i % 1000 == 0) {
ps.executeBatch();
connection.commit();
}
}
// 执行剩余记录
ps.executeBatch();
connection.commit();
2.2 批处理性能调优
在实际使用中，有几个关键参数会显著影响批处理性能：
-
批处理大小：通常建议设置在500-3000之间。过小会导致频繁提交，过大则可能占用过多内存。
-
重写BatchedStatements：MySQL JDBC驱动提供了一个特殊参数：
java复制jdbc:mysql://localhost:3306/db?rewriteBatchedStatements=true这个参数会让驱动将多个INSERT语句重写为单个多值INSERT语句，性能提升可达5-10倍。
-
事务控制：批处理操作应该放在一个事务中执行，但要注意事务不宜过大，否则可能导致锁等待超时。
2.3 常见问题与解决方案
问题1：内存溢出
当批处理量过大时，可能会导致内存溢出。解决方案：
- 分批提交（如每1000条提交一次）
- 使用Statement.clearBatch()清空批处理队列
问题2：部分失败处理
批处理中某条记录失败时，不同数据库行为不同：
- MySQL：默认会继续执行后续语句
- Oracle：默认会停止执行
建议实现重试机制或记录失败记录单独处理。
3. 分页查询优化技巧
3.1 LIMIT偏移量性能问题
常见的分页查询写法：
sql复制SELECT * FROM products ORDER BY id LIMIT 10000, 20;
当偏移量很大时（如第10000条开始），MySQL需要先扫描并丢弃前10000条记录，性能极差。
3.2 优化方案一：基于主键的分页
如果表有自增主键，可以采用"记住上一页最后一条记录的ID"的方式：
sql复制SELECT * FROM products
WHERE id > 上一页最后一条记录的ID
ORDER BY id
LIMIT 20;
这种方案性能极佳，但要求：
- 必须有自增主键
- 排序字段必须与条件字段一致
- 不能有WHERE过滤条件
3.3 优化方案二：延迟关联
对于复杂查询，可以使用子查询先获取ID，再关联获取完整数据：
sql复制SELECT t.* FROM products t
JOIN (
SELECT id FROM products
ORDER BY create_time DESC
LIMIT 10000, 20
) tmp ON t.id = tmp.id;
3.4 优化方案三：使用覆盖索引
确保查询只需要扫描索引就能完成：
sql复制SELECT id, name FROM products
ORDER BY create_time DESC
LIMIT 10000, 20;
如果create_time和id,name都在同一个索引中，这个查询将非常高效。
4. 实战中的综合优化策略
4.1 批处理与分页结合的场景
在数据迁移或报表生成等场景中，常常需要先分页查询大量数据，然后进行批处理操作。这时可以结合两种优化技术：
java复制int pageSize = 1000;
long lastId = 0;
while (true) {
List<Product> batch = productMapper.selectAfterId(lastId, pageSize);
if (batch.isEmpty()) break;
// 批处理插入到新表
jdbcTemplate.batchUpdate(
"INSERT INTO new_products (...) VALUES (...)",
batch,
100,
(ps, product) -> {
ps.setString(1, product.getName());
// 设置其他参数...
});
lastId = batch.get(batch.size()-1).getId();
}
4.2 监控与调优
在实际应用中，应该监控以下指标：
- 批处理执行时间
- 批处理吞吐量（记录数/秒）
- 分页查询响应时间
- 数据库服务器负载
根据监控结果调整：
- 批处理大小
- 分页大小
- 并发线程数
- JVM参数
4.3 不同数据库的差异
不同数据库对批处理和分页的支持有所不同：
| 数据库 | 批处理支持 | 分页语法 | 特点 |
|---|---|---|---|
| MySQL | 支持 | LIMIT offset, size | 需要rewriteBatchedStatements |
| Oracle | 支持 | ROWNUM/12c后OFFSET-FETCH | 批处理性能较好 |
| PostgreSQL | 支持 | LIMIT size OFFSET offset | 分页性能较好 |
| SQL Server | 支持 | OFFSET-FETCH | 需要合适索引 |
5. 高级技巧与注意事项
5.1 批量Upsert操作
对于需要更新或插入的场景，不同数据库有不同语法：
MySQL:
sql复制INSERT INTO products (id, name, price)
VALUES (1, 'Product A', 10.99)
ON DUPLICATE KEY UPDATE
name = VALUES(name),
price = VALUES(price);
PostgreSQL:
sql复制INSERT INTO products (id, name, price)
VALUES (1, 'Product A', 10.99)
ON CONFLICT (id) DO UPDATE
SET name = EXCLUDED.name,
price = EXCLUDED.price;
5.2 大批量数据导入专用方案
对于超大数据量导入（百万级以上），考虑：
-
使用数据库专用导入工具：
- MySQL: LOAD DATA INFILE
- PostgreSQL: COPY命令
- SQL Server: BULK INSERT
-
临时禁用索引和约束
-
使用多线程并行导入
5.3 连接池配置优化
批处理操作对连接池有特殊要求：
- 适当增大最大连接数
- 设置合理的超时时间
- 考虑使用专用连接池（如HikariCP）
java复制HikariConfig config = new HikariConfig();
config.setMaximumPoolSize(50);
config.setConnectionTimeout(30000);
// 其他配置...
5.4 事务隔离级别考量
批处理操作可能需要调整事务隔离级别：
- 读已提交(READ COMMITTED)：大多数批处理场景的合理选择
- 可重复读(REPEATABLE READ)：可能需要处理更多锁
- 串行化(SERIALIZABLE)：性能最差，除非必要避免使用
6. 真实案例：电商订单导出优化
某电商平台需要每小时导出前24小时的订单数据进行分析，原始实现存在性能问题：
原始方案：
- 分页查询订单表（每页1000条）
- 对每条订单查询关联的子订单、支付、物流信息
- 单线程处理
- 总耗时：约45分钟
优化后方案：
- 使用基于ID的分页查询主订单
- 批量查询关联数据（使用IN语句）
- 多线程并行处理（4个线程）
- 批处理写入目标表
- 总耗时：约5分钟
关键优化点：
- 分页查询从LIMIT改为基于ID
- 关联查询从N+1改为批量查询
- 引入并行处理
- 使用JDBC批处理写入
这个案例展示了如何综合运用各种优化技术解决实际问题。