1. 为什么需要流式读取?
想象一下你要从水库往家里运水。如果一次性把整个水库的水都装进卡车,不仅车会被压垮,路上也会一片狼藉。JDBC的默认查询方式就是这样——它会一次性把所有查询结果加载到内存里。当处理百万级数据时,这就像用茶杯去接消防水管的水,结果可想而知。
我在去年处理一个用户行为分析项目时就踩过这个坑。当时查询300万条记录,JVM直接OOM崩溃。后来发现PostgreSQL的JDBC驱动默认会缓存所有结果,相当于在内存里复制了整个表。这就是为什么我们需要setFetchSize(50)这样的设置,它告诉驱动:"每次只给我50条数据,就像用桶分批运水"。
但这里有个关键细节:setAutoCommit(false)必须配合使用。因为事务提交后数据库游标可能关闭,就像运水时如果中途关了阀门,后续就没水可接了。MySQL和PostgreSQL在这方面的表现略有不同,MySQL需要额外配置useCursorFetch=true参数。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 流式读取的典型误区
2.1 伪流式:用List收集结果的陷阱
我见过最典型的错误代码是这样的:
java复制List<User> users = new ArrayList<>();
while(rs.next()) {
users.add(new User(rs.getInt("id"), rs.getString("name")));
}
return users;
表面上看用了setFetchSize,实际上还是在内存中累积所有对象。就像把运来的水全部倒进浴缸,浴缸满了照样会溢出。这种做法的内存消耗曲线是条直线上升的斜线,直到触发OOM。
2.2 延迟消费的隐蔽问题
另一种情况是使用了Stream API但未及时消费:
java复制return Stream.generate(() -> {
if(rs.next()) return new User(rs.getInt("id"), rs.getString("name"));
return null;
}).takeWhile(Objects::nonNull);
这种写法看起来优雅,但如果调用方用`collect(Collectors.toList())
