SpringMVC大文件分块上传方案与优化实践

1. SpringMVC大文件分块上传核心方案解析

大文件上传是Web开发中常见的需求场景，尤其当文件体积超过100MB时，传统单次上传方式会遇到连接超时、内存溢出等问题。我在实际项目中处理过多次500MB以上医疗影像文件的上传需求，总结出一套成熟的SpringMVC分块上传实现方案。

分块上传的核心思想是将大文件切割为多个小块（如每块5MB），通过多次HTTP请求分别上传，最后在服务端合并。这种方式有三大优势：

1. 避免单次请求超时（解决504错误）
2. 支持断点续传（网络中断后可继续上传）
3. 降低服务端内存压力（无需一次性加载完整文件）

2. 前端分块处理实现细节

2.1 文件分片算法选择

推荐使用Blob.slice()方法进行分片，这是浏览器原生支持的二进制分割API。对于1GB文件按5MB分片示例：

javascript复制const chunkSize = 5 * 1024 * 1024 // 5MB
let chunks = []
for(let i=0; i<file.size; i+=chunkSize){
    chunks.push(file.slice(i, i+chunkSize))
}

关键提示：分片大小需要权衡网络环境和服务器配置。实测表明，在普通企业内网环境下，2-10MB是最佳分片区间，过小会导致请求次数爆炸，过大会失去分块意义。

2.2 分片元数据设计

每个分片上传时需要携带以下元信息：

• fileId：文件唯一标识（建议MD5(文件名+大小+修改时间)）
• chunkIndex：当前分片序号
• totalChunks：总分片数
• chunkSize：分片标准大小
• originalFilename：原始文件名

3. SpringMVC服务端实现

3.1 控制器设计

java复制@PostMapping("/upload/chunk")
public ResponseEntity<String> uploadChunk(
    @RequestParam("file") MultipartFile chunk,
    @RequestParam("fileId") String fileId,
    @RequestParam("chunkIndex") Integer chunkIndex,
    @RequestParam("totalChunks") Integer totalChunks) {
    
    // 临时存储分片
    String tempDir = "/upload/temp/" + fileId;
    FileUtils.forceMkdir(new File(tempDir));
    chunk.transferTo(new File(tempDir + "/" + chunkIndex));
    
    // 如果是最后一个分片则触发合并
    if(chunkIndex == totalChunks - 1) {
        mergeChunks(fileId, tempDir);
    }
    
    return ResponseEntity.ok("chunk received");
}

3.2 分片合并策略

合并时需要特别注意文件顺序问题：

java复制private void mergeChunks(String fileId, String tempDir) throws IOException {
    File outputFile = new File("/upload/complete/" + fileId);
    try (FileOutputStream fos = new FileOutputStream(outputFile)) {
        for (int i = 0; i < totalChunks; i++) {
            File chunkFile = new File(tempDir + "/" + i);
            Files.copy(chunkFile.toPath(), fos);
            chunkFile.delete(); // 合并后删除分片
        }
    }
    FileUtils.deleteDirectory(new File(tempDir));
}

4. 高级优化技巧

4.1 内存优化配置

在application.properties中添加：

properties复制# 限制单个分片内存缓存（默认1MB）
spring.servlet.multipart.file-size-threshold=1MB
# 分片临时存储目录
spring.servlet.multipart.location=/tmp
# 禁用文件大小限制（由业务逻辑控制）
spring.servlet.multipart.max-file-size=-1

4.2 断点续传实现

服务端需要提供分片状态查询接口：

java复制@GetMapping("/upload/progress")
public Map<String, Boolean> getProgress(@RequestParam String fileId) {
    Map<String, Boolean> result = new HashMap<>();
    File tempDir = new File("/upload/temp/" + fileId);
    if(tempDir.exists()) {
        for(File chunk : tempDir.listFiles()) {
            result.put(chunk.getName(), true);
        }
    }
    return result;
}

5. 常见问题解决方案

5.1 分片顺序错乱

问题现象：合并后的文件MD5校验失败
解决方案：

1. 前端确保按index顺序上传
2. 服务端合并时按数字顺序读取分片
3. 添加分片校验码（如CRC32）

5.2 临时文件堆积

问题现象：/tmp目录空间不足
处理方案：

1. 定期清理超过24小时的临时目录
2. 使用独立存储卷存放临时文件
3. 实现上传超时自动清理机制

5.3 集群环境同步

分布式场景下需要：

1. 使用Redis记录分片状态
2. 共享存储（如NFS）存放临时文件
3. 采用分布式锁控制合并操作

6. 性能压测数据

在4核8G服务器上测试结果：

实测表明5MB分片在大多数场景下表现最优。对于内网传输，可以适当增大到10-20MB；而移动端上传建议缩小到2MB以下。

我在医疗PACS系统迁移项目中，采用这套方案成功实现了平均每天500+个、单个体积300MB-2GB的DICOM影像文件稳定上传。关键点在于：

1. 分片上传前先计算文件特征码，避免重复传输
2. 采用七牛云作为最终存储，合并后直传OSS
3. 增加MD5校验环节确保数据完整性