1. 批量插入的性能痛点与解决思路
作为一名常年与数据库打交道的开发者，我见过太多团队在批量插入数据时踩坑。最典型的场景就是需要初始化大量测试数据，或者从外部系统导入历史数据时，直接采用单条INSERT语句循环执行。上周我还帮一个创业团队排查过这个问题——他们的订单系统在导入三个月数据时，足足跑了40分钟！
这种低效操作的根源在于：每次单条插入都会产生完整的SQL解析、执行计划生成、事务处理、日志写入等全套开销。当数据量达到十万级以上时，这些重复开销会累积成惊人的性能瓶颈。更糟的是，某些数据库（如MySQL）的默认事务自动提交模式会让情况雪上加霜。
2. 主流数据库的批量插入方案对比
2.1 JDBC的批量操作API
Java生态中最基础的方式是使用JDBC的addBatch()和executeBatch()方法。这种方式通过预编译SQL语句，然后批量传参执行，能有效减少网络往返和SQL解析开销。但实际测试发现，在MySQL 8.0上插入30万条记录仍需约45秒。
java复制// JDBC批量插入示例
try (Connection conn = dataSource.getConnection();
PreparedStatement stmt = conn.prepareStatement("INSERT INTO users VALUES (?,?)")) {
conn.setAutoCommit(false); // 关键步骤：关闭自动提交
for (int i = 0; i < 300000; i++) {
stmt.setInt(1, i);
stmt.setString(2, "user_" + i);
stmt.addBatch();
if (i % 5000 == 0) { // 分批提交避免内存溢出
stmt.executeBatch();
}
}
stmt.executeBatch();
conn.commit();
}
注意：必须关闭autoCommit并手动控制事务，否则每个addBatch()都会立即执行
2.2 MyBatis的批量执行器
MyBatis提供了BATCH执行器，原理与JDBC类似但更易用。在相同环境下测试，30万条数据插入耗时约38秒。虽然比纯JDBC快一些，但提升有限。
xml复制<!-- MyBatis配置 -->
<settings>
<setting name="defaultExecutorType" value="BATCH"/>
</settings>
2.3 多值INSERT语法
SQL标准支持的多值插入语法才是真正的性能杀手锏。通过单条INSERT语句插入多行数据，能最大限度减少重复开销。MySQL中的写法如下：
sql复制INSERT INTO users (id, name) VALUES
(1, 'user1'), (2, 'user2'), ... (1000, 'user1000');
实测表明，这种方案在30万数据量下仅需13秒！但需要注意两个关键点：
- 单条SQL的长度限制（需调整max_allowed_packet参数）
- 合理控制每批插入的行数（建议500-2000行/批）
3. 13秒插入30万条的完整实现
3.1 环境准备与参数调优
以MySQL 8.0为例，必须调整以下参数：
sql复制-- 关键参数设置
SET GLOBAL max_allowed_packet=64*1024*1024; -- 增大包大小限制
SET GLOBAL innodb_flush_log_at_trx_commit=2; -- 适当降低日志写入频率
SET GLOBAL sync_binlog=0; -- 禁用二进制日志同步
警告：生产环境慎用innodb_flush_log_at_trx_commit=2，可能丢失最后1秒数据
3.2 分批次多值插入Java实现
java复制public void batchInsert(List<User> users) throws SQLException {
final int BATCH_SIZE = 1000;
try (Connection conn = dataSource.getConnection()) {
conn.setAutoCommit(false);
StringBuilder sql = new StringBuilder("INSERT INTO users (id,name) VALUES ");
for (int i = 0; i < users.size(); i++) {
sql.append("(").append(users.get(i).getId())
.append(",'").append(users.get(i).getName()).append("')");
if ((i + 1) % BATCH_SIZE == 0 || i == users.size() - 1) {
try (Statement stmt = conn.createStatement()) {
stmt.executeUpdate(sql.toString());
}
sql = new StringBuilder("INSERT INTO users (id,name) VALUES ");
} else {
sql.append(",");
}
}
conn.commit();
}
}
3.3 性能对比实测数据
| 方案 | 30万条耗时 | 内存占用 | 适用场景 |
|---|---|---|---|
| 单条INSERT循环 | 15分23秒 | 低 | 绝对不要用 |
| JDBC批量API | 45秒 | 中 | 兼容性要求高时 |
| MyBatis批量执行器 | 38秒 | 中 | 使用MyBatis的项目 |
| 多值INSERT | 13秒 | 高 | 大数据量初始化/导入 |
4. 避坑指南与进阶优化
4.1 常见问题排查
-
PacketTooBigException：
- 症状：报错"Packet for query is too large"
- 解决：增大max_allowed_packet参数，并减少每批插入量
-
内存溢出：
- 症状：Java heap space错误
- 解决：控制每批数据量，及时清空中间集合
-
死锁问题：
- 症状：批量插入时出现锁超时
- 解决：调整innodb_lock_wait_timeout，或改用分批提交
4.2 高阶优化技巧
- LOAD DATA INFILE：
对于千万级数据导入，MySQL原生提供的文件导入方式更快（5秒内完成30万条）：
sql复制LOAD DATA LOCAL INFILE '/path/to/users.csv'
INTO TABLE users
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';
-
并行批量插入：
将数据分片后多线程处理，但要注意：- 每个线程使用独立Connection
- 避免热点行争用
- 线程数不要超过CPU核心数×2
-
索引优化：
- 批量插入前禁用非唯一索引
- 插入后重建索引比逐条维护快10倍以上
sql复制ALTER TABLE users DISABLE KEYS;
-- 执行批量插入...
ALTER TABLE users ENABLE KEYS;
5. 不同数据库的特殊处理
5.1 PostgreSQL的COPY命令
PostgreSQL的COPY命令是性能王者，30万条数据仅需3秒：
java复制// PostgreSQL专用批量导入
String sql = "COPY users (id,name) FROM STDIN";
try (Connection conn = dataSource.getConnection();
CopyManager cp = new CopyManager((BaseConnection) conn)) {
StringReader data = new StringReader(buildCSVData(users));
cp.copyIn(sql, data);
}
5.2 Oracle的批量绑定
Oracle推荐使用批量绑定变量，配合ARRAY参数：
java复制// Oracle批量绑定示例
oracle.jdbc.OraclePreparedStatement stmt = (OraclePreparedStatement)
conn.prepareStatement("INSERT INTO users VALUES (?,?)");
stmt.setExecuteBatch(1000); // 设置批处理大小
for (User user : users) {
stmt.setInt(1, user.getId());
stmt.setString(2, user.getName());
stmt.addBatch();
}
stmt.executeBatch();
5.3 SQL Server的BULK INSERT
SQL Server专用批量语法：
sql复制BULK INSERT users
FROM '/data/users.csv'
WITH (
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n'
);
6. ORM框架中的批量插入实践
6.1 JPA/Hibernate方案
虽然JPA标准没有批量插入API，但Hibernate提供了变通方案：
java复制@Entity
@Table(name = "users")
@BatchSize(size = 1000) // 重要优化注解
public class User { ... }
// 批量插入实现
Session session = entityManager.unwrap(Session.class);
session.setJdbcBatchSize(1000);
for (int i = 0; i < 300000; i++) {
session.persist(new User(i, "user_" + i));
if (i % 1000 == 0) {
session.flush();
session.clear(); // 必须清空一级缓存
}
}
6.2 MyBatis-Plus的saveBatch
MyBatis-Plus封装了更简洁的API：
java复制List<User> userList = ... // 30万数据
userService.saveBatch(userList, 2000); // 每批2000条
但要注意：默认实现仍然是单条INSERT循环，需要配置rewriteBatchedStatements=true才能启用真批量：
properties复制# application.properties
spring.datasource.url=jdbc:mysql://localhost:3306/test?rewriteBatchedStatements=true
7. 实战中的经验总结
-
批大小选择：
- MySQL：500-2000行/批
- PostgreSQL：10000行/批
- Oracle：1000行/批
- 需要根据字段数量和类型微调
-
内存管理：
- 使用Streaming API处理超大结果集
- 分片处理避免OOM
- 及时清理中间集合
-
监控指标：
sql复制-- MySQL批量插入监控 SHOW STATUS LIKE 'Innodb_rows_inserted'; SHOW PROFILE FOR QUERY 1; -
事务控制：
- 每批数据单独提交（失败时部分成功）
- 或整个批量作为一个事务（失败全回滚）
- 根据业务需求选择
-
连接池配置：
properties复制# HikariCP配置建议 spring.datasource.hikari.maximum-pool-size=20 spring.datasource.hikari.connection-timeout=30000
经过多次实战验证，我总结出一个通用原则：当单次插入超过1000条记录时，就应该考虑使用批量方案。而对于不同的数据库产品，需要选择最适合其特性的实现方式。比如MySQL偏好多值INSERT，PostgreSQL适合COPY命令，而Oracle则对批量绑定变量优化得最好。