1. 项目概述
在开发企业级应用时，数据导出是一个常见但极具挑战性的需求。当数据量达到百万级别时，传统的全量导出方式往往会引发内存溢出、响应超时等问题。我在最近的一个项目中，基于Ruoyi框架实现了一套高效的分页分批导出系统，能够稳定处理百万级数据导出需求。
这个系统的核心设计思路是：将大数据集拆分为小批量处理，采用异步执行机制，支持本地存储和云存储两种方式。实测表明，即使在数据量达到500万条记录时，系统仍能保持稳定运行，内存占用始终控制在合理范围内。
2. 系统架构设计
2.1 核心组件关系
整个导出系统由以下几个关键组件构成：
- PageExportExecutor：定义导出流程的接口规范
- ExportService：提供核心导出功能的实现
- PageExportDTO：封装导出请求的传输对象
- Pager：分页策略抽象接口
- FileAdapter：文件存储适配器接口
这些组件的关系如下图所示（伪代码表示）：
code复制Controller → ExportService → PageExportExecutor
→ Pager
→ FileAdapter
2.2 关键技术选型
在实现过程中，我们主要采用了以下技术方案：
- 分页策略：提供基于ID和基于页码两种分页方式
- 文件格式：选用CSV作为中间格式，最终打包为ZIP
- 异步处理：通过Ruoyi的异步任务机制实现
- 存储支持：可扩展的适配器模式，支持本地和云存储
3. 核心实现解析
3.1 PageExportExecutor接口设计
PageExportExecutor是整个导出流程的核心接口，定义了四个关键方法：
java复制public interface PageExportExecutor<PAGE_REQ, PAGE_RESP> {
void checkPageCount(PAGE_REQ page); // 数据量校验
Pager<PAGE_RESP> exportPager(PAGE_REQ page); // 获取分页器
List<List<String>> exportOnePage(List<PAGE_RESP> pageRespList); // 单页数据转换
List<String> exportFileHeader(); // 文件头定义
}
这个设计有以下几个优点：
- 将导出逻辑与业务逻辑解耦
- 支持不同类型的数据源
- 提供了完整的数据处理生命周期控制
3.2 分页策略实现
系统提供了两种分页策略实现：
3.2.1 BaseIdPager（基于ID分页）
java复制public abstract class BaseIdPager<T extends IdAccessor> implements Pager<T> {
private Long lastId = -1L;
@Override
public List<T> nextPage(int limit) {
List<T> list = fetchNext(limit);
lastId = list.stream()
.map(IdAccessor::getId)
.max(Long::compareTo)
.orElse(null);
return list;
}
protected abstract List<T> fetchNext(int limit);
}
这种分页方式适合数据量大且ID连续的场景，性能优于传统的LIMIT分页。
3.2.2 BasePageNoPager（基于页码分页）
java复制public abstract class BasePageNoPager<T> implements Pager<T> {
private Integer lastPageNo = Constants.INIT_PAGE_NO;
@Override
public List<T> nextPage(int limit) {
List<T> list = fetchNext(limit);
lastPageNo++;
return list;
}
protected abstract List<T> fetchNext(int limit);
}
这种分页方式更符合传统的分页查询习惯，适合各种数据分布情况。
3.3 ExportService实现细节
ExportServiceImpl是系统的核心实现类，其主要流程如下：
-
初始化阶段：
- 校验导出数据量
- 创建导出记录
- 准备临时工作目录
-
导出阶段：
- 写入CSV文件头
- 分页读取数据并写入文件
- 定期刷新文件缓冲区
-
收尾阶段：
- 压缩生成的CSV文件
- 上传到指定存储
- 清理临时文件
- 更新导出状态
关键代码片段：
java复制public <PAGE_REQ, PAGE_RESP> void export(PageExportDTO<PAGE_REQ, PAGE_RESP> pageExportDTO) {
// 初始化
executor.checkPageCount(page);
File file = createExportRecord();
// 异步执行导出
asyncService.asyncRun(() -> {
try {
CsvWriter writer = createCsvWriter();
writer.writeLine(executor.exportFileHeader());
Pager<PAGE_RESP> pager = executor.exportPager(page);
List<PAGE_RESP> pageData = pager.nextPage(EXPORT_PAGE_SIZE);
while (!pageData.isEmpty()) {
List<List<String>> lines = executor.exportOnePage(pageData);
lines.forEach(writer::writeLine);
writer.flush();
pageData = pager.nextPage(EXPORT_PAGE_SIZE);
}
// 压缩并上传
File zipFile = createZipFile();
uploadToStorage(zipFile);
updateExportStatus(file, true);
} catch (Exception e) {
updateExportStatus(file, false, e.getMessage());
} finally {
cleanupTempFiles();
}
}, FILE_EXPORT_TASK);
}
4. 性能优化实践
4.1 内存控制策略
在处理大数据量导出时，我们采取了以下内存优化措施：
- 分页大小控制：每页处理10,000条记录
- 流式写入：使用缓冲写入，定期刷新到磁盘
- 及时释放资源：每处理完一页数据后立即释放相关对象
4.2 文件处理优化
- UTF-8 BOM头：在CSV文件开头写入BOM标记，确保Excel能正确识别编码
- 临时文件管理：为每个导出任务创建独立的工作目录，避免冲突
- 压缩处理：使用ZIP压缩减少文件体积和传输时间
4.3 异常处理机制
系统实现了完善的异常处理：
- 事务管理：使用@Transactional确保数据库操作原子性
- 状态跟踪：记录导出任务的开始、进行中、成功、失败状态
- 错误日志：详细记录异常信息，方便排查问题
5. 使用示例与最佳实践
5.1 完整使用示例
以下是一个完整的平台密码导出实现：
java复制// Controller
@PostMapping("/export")
public AjaxResult export(@RequestBody @Valid PlatformPasswordsPageReq request) {
platformPasswordsService.export(request);
return toAjax(true);
}
// Service
public void export(PlatformPasswordsPageReq request) {
LoginUser loginUser = SecurityUtils.getLoginUser();
PageExportDTO<PlatformPasswordsPageReq, PlatformPasswords> dto = PageExportDTO.create(
request,
loginUser,
FileBizTypeEnum.PLATFORM_PASSWORDS_EXPORT,
new PageExportExecutor<>() {
@Override
public void checkPageCount(PlatformPasswordsPageReq page) {
Long count = mapper.selectCount(buildQueryWrapper(page));
if (count == 0) throw new BusinessException("导出数据为空");
}
@Override
public Pager<PlatformPasswords> exportPager(PlatformPasswordsPageReq page) {
return new BasePageNoPager<>() {
@Override
public List<PlatformPasswords> fetchNext(int limit) {
page.setPageNum(getLastPageNo());
page.setPageSize(limit);
return basePage(page).getRecords();
}
};
}
@Override
public List<List<String>> exportOnePage(List<PlatformPasswords> data) {
return data.stream().map(PlatformPasswords::toFields).toList();
}
@Override
public List<String> exportFileHeader() {
return PlatformPasswords.toFieldNames();
}
});
exportService.export(dto);
}
5.2 最佳实践建议
-
分页大小选择：
- 普通场景：5,000-10,000条/页
- 高并发场景：适当减小分页大小
- 单机大内存：可增大到20,000-50,000条/页
-
存储策略选择：
- 小文件：直接存储在本地
- 大文件或需要分享：使用云存储
- 敏感数据：考虑加密存储
-
监控与告警：
- 记录导出任务耗时
- 监控失败率
- 设置超时告警
6. 常见问题与解决方案
6.1 性能问题排查
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 导出速度慢 | 数据库查询效率低 | 优化查询SQL，添加适当索引 |
| 内存占用高 | 分页大小设置过大 | 减小EXPORT_PAGE_SIZE值 |
| 文件生成失败 | 磁盘空间不足 | 检查工作目录可用空间 |
6.2 典型错误处理
-
导出数据为空：
- 检查checkPageCount实现
- 确认查询条件是否正确
-
文件编码问题：
- 确保写入UTF-8 BOM头
- 检查CSVWriter的字符集设置
-
权限问题：
- 确认工作目录可写
- 检查云存储凭证有效性
7. 扩展与定制
7.1 支持更多文件格式
系统目前主要支持CSV格式，但通过扩展FileTypeEnum和相应的写入逻辑，可以轻松支持Excel、PDF等格式：
java复制public enum FileTypeEnum {
EXCEL(1, "xlsx"),
PDF(3, "pdf"),
// ...其他类型
}
7.2 自定义存储策略
通过实现FileAdapter接口，可以添加更多存储支持：
java复制@Service
public class QiniuFileAdapter implements FileAdapter {
@Override
public String uploadFile(String name, String path, byte[] content) {
// 七牛云上传实现
}
}
7.3 导出进度跟踪
可以扩展系统以支持导出进度查询：
- 在File表中添加progress字段
- 在导出过程中定期更新进度
- 提供查询接口获取当前进度
8. 实际应用中的经验分享
在项目落地过程中，我总结了以下几点经验：
-
关于分页大小的选择：经过多次测试，发现10,000条/页在大多数场景下表现最佳。太小的分页会导致频繁的数据库查询，太大的分页则增加内存压力。
-
临时文件处理：一定要确保在任务完成后清理临时文件。我们曾遇到过因为未及时清理导致磁盘空间耗尽的问题。
-
异步任务管理：为导出任务设置合理的超时时间，并实现任务取消功能。对于长时间运行的任务特别重要。
-
内存监控：建议在导出服务中添加内存使用日志，帮助及时发现潜在的内存泄漏问题。
-
文件命名规范：采用"业务类型_时间戳_随机数"的命名模式，可以有效避免文件名冲突，也便于后续管理。
这个分页分批导出系统已经在我们的生产环境稳定运行了半年多，处理了超过200次百万级数据导出任务，表现非常可靠。希望这个实现方案对面临类似需求的开发者有所启发。