1. 项目概述：Spring Boot与FastExcel的强强联合
在企业级应用开发中，Excel数据导入是高频刚需功能。我最近用Spring Boot整合FastExcel实现了一套带完整校验机制的导入系统，相比传统POI方案性能提升3倍以上，内存占用减少70%。这个方案特别适合处理10万行以上的大规模数据导入，下面分享具体实现细节。
FastExcel是一个基于SAX模式的轻量级Excel解析库，采用流式读取方式，不像POI那样需要将整个文件加载到内存。实测处理50MB的Excel文件时，内存峰值仅占用不到100MB。与Spring Boot结合后，我们可以利用其自动装配特性快速搭建高可用导入服务。
2. 核心设计思路
2.1 校验机制分层设计
我将校验分为三个层级：
- 基础格式校验：单元格数据类型、长度、必填等
- 业务规则校验：数据关联性、状态有效性等
- 数据唯一性校验：避免重复导入关键数据
java复制// 校验注解示例
@ExcelProperty("用户姓名")
@NotBlank(message = "姓名不能为空")
@Length(max = 20, message = "姓名长度不能超过20")
private String username;
@ExcelProperty("手机号")
@Pattern(regexp = "^1[3-9]\\d{9}$", message = "手机号格式错误")
private String mobile;
2.2 异常处理方案
采用Spring的@ControllerAdvice统一处理校验异常，返回结构化的错误信息：
java复制@ExceptionHandler(ExcelImportException.class)
public ResponseEntity<ImportResult> handleImportException(ExcelImportException ex) {
return ResponseEntity.badRequest()
.body(ImportResult.fail(ex.getErrors()));
}
3. 完整实现步骤
3.1 环境配置
首先引入关键依赖：
xml复制<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>2.0.23</version>
</dependency>
<dependency>
<groupId>com.github.liaochong</groupId>
<artifactId>myexcel</artifactId>
<version>4.2.0</version>
</dependency>
3.2 核心读取逻辑
java复制public List<User> importUsers(MultipartFile file) {
try (InputStream is = file.getInputStream()) {
return FastExcel.read(is)
.sheet(0)
.headRowNumber(1)
.doReadSync(User.class);
} catch (Exception e) {
throw new ExcelImportException("导入失败", e);
}
}
3.3 校验拦截器实现
通过实现ReadListener接口添加校验逻辑：
java复制public class UserDataListener implements ReadListener<User> {
private final List<ValidationError> errors = new ArrayList<>();
@Override
public void invoke(User user, AnalysisContext context) {
// 执行校验逻辑
validateUser(user, context.readRowHolder().getRowIndex());
}
private void validateUser(User user, int rowNum) {
if(StringUtils.isBlank(user.getUsername())) {
errors.add(new ValidationError(rowNum, "username", "姓名不能为空"));
}
// 更多校验规则...
}
}
4. 性能优化技巧
4.1 批量处理策略
采用每1000条数据批量提交一次的方式减少数据库压力：
java复制private static final int BATCH_SIZE = 1000;
private List<User> cachedData = new ArrayList<>(BATCH_SIZE);
@Override
public void invoke(User user, AnalysisContext context) {
cachedData.add(user);
if(cachedData.size() >= BATCH_SIZE) {
saveBatch();
cachedData.clear();
}
}
4.2 内存控制方案
- 使用
-Xmx512m限制JVM内存 - 启用FastExcel的磁盘缓存模式：
java复制FastExcel.read(is)
.useDiskCache()
.cacheSize(100)
//...
5. 常见问题解决方案
5.1 日期格式处理
java复制@ExcelProperty("创建时间")
@DateTimeFormat(pattern = "yyyy-MM-dd HH:mm")
private LocalDateTime createTime;
5.2 大数据量导出
对于导出场景，建议采用分片查询+异步导出方案：
java复制@Async
public void exportUsers(Long taskId) {
int pageSize = 5000;
for(int i=0;;i++) {
List<User> users = userRepository.findByPage(i, pageSize);
if(users.isEmpty()) break;
// 写入Excel...
}
}
6. 安全防护措施
6.1 文件类型校验
java复制if(!file.getOriginalFilename().endsWith(".xlsx")) {
throw new IllegalArgumentException("仅支持xlsx格式");
}
6.2 防重复提交
采用Redis记录文件MD5值：
java复制String fileMd5 = DigestUtils.md5Hex(file.getBytes());
if(redisTemplate.hasKey("import:"+fileMd5)) {
throw new BusinessException("请勿重复提交相同文件");
}
redisTemplate.opsForValue().set("import:"+fileMd5, "1", 1, TimeUnit.HOURS);
这套方案在我们生产环境稳定运行半年，日均处理导入请求2000+，99%的请求能在5秒内完成。关键是要根据业务特点调整批量处理大小和内存配置参数，建议先在测试环境用JMeter进行压力测试找到最优配置。