SpringBoot大文件分块上传与断点续传实战

1. 大文件上传的痛点与分块上传优势

在Web应用开发中，文件上传功能几乎是标配需求。但当文件体积超过100MB时，传统单文件上传方式就会暴露出诸多问题：

1.1 传统上传方式的三大致命缺陷

网络传输不稳定：单次HTTP请求持续时间过长，网络抖动或用户网络切换都可能导致连接中断。我曾遇到过一个案例：用户上传800MB设计稿时，在95%进度处因地铁信号切换导致前功尽弃。

服务器内存压力：Servlet容器默认会将上传文件全部加载到内存。当并发上传多个大文件时，内存占用会呈指数级增长。某电商平台在促销期间就因这个原因导致OOM（内存溢出），整个文件服务崩溃。

失败成本高昂：传统上传一旦失败必须从头开始。对于跨国传输的GB级文件，这种设计简直是用户体验的灾难。

1.2 分块上传的破局之道

分块上传（Chunked Upload）将大文件切割成多个小块（通常1-10MB），通过以下机制彻底解决上述问题：

• 分片传输：每个分块作为独立请求，大幅降低单次请求失败风险
• 内存优化：服务器每次只处理一个小分块，内存占用恒定
• 断点续传：通过分块索引记录上传进度，中断后可从最后成功分块继续
• 并行加速：浏览器可并发上传多个分块（通常4-6个），充分利用带宽

实测数据：在100Mbps带宽下，10GB文件的分块上传比传统方式快3-5倍，且内存占用从10GB降至稳定50MB左右。

2. 分块上传的架构设计

2.1 核心流程拆解

完整的分块上传包含三个关键阶段：

1. 初始化阶段：

   • 前端计算文件唯一指纹（常用MD5）
   • 后端创建临时目录并返回上传会话ID

2. 分块上传阶段：

   • 前端将文件切片并并发上传
   • 服务端验证并存储每个分块

3. 合并阶段：

   • 前端触发合并请求
   • 服务端按序号组装分块生成完整文件

mermaid复制graph TD
    A[前端] -->|1. 初始化上传| B(后端)
    A -->|2. 上传分块| C[分块存储]
    A -->|3. 合并请求| B
    B -->|合并分块| D[最终文件]

2.2 关键技术选型

文件分块策略：

• 固定大小分块（推荐5MB）：便于进度计算和并发控制
• 动态分块：根据网络状况调整，实现复杂但更灵活

分块标识方案：

• 前端生成：使用"文件MD5_分块索引"作为唯一标识
• 服务端生成：更安全但需额外接口交互

合并方案对比：

3. SpringBoot服务端实现

3.1 基础环境搭建

依赖配置：

xml复制<!-- 必须依赖 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>

<!-- 文件操作工具 -->
<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.11.0</version>
</dependency>

<!-- 可选：大文件合并优化 -->
<dependency>
    <groupId>com.j256.simplemagic</groupId>
    <artifactId>simplemagic</artifactId>
    <version>1.17</version>
</dependency>

配置调整：

properties复制# 禁用SpringBoot默认文件大小限制
spring.servlet.multipart.enabled=false

# 单个分块大小限制（根据业务调整）
spring.servlet.multipart.max-file-size=10MB
spring.servlet.multipart.max-request-size=10MB

3.2 核心控制器实现

初始化接口：

java复制@PostMapping("/init")
public ResponseEntity<UploadSession> initUpload(
        @RequestParam String fileName,
        @RequestParam String fileMd5,
        @RequestParam Long fileSize) {
    
    // 防重复上传检查
    if (fileStorageService.exists(fileMd5)) {
        return ResponseEntity.ok(
            new UploadSession("EXISTED", null, fileMd5));
    }
    
    // 创建分块临时目录
    String sessionId = UUID.randomUUID().toString();
    Path chunkDir = Paths.get("uploads/chunks", fileMd5 + "_" + sessionId);
    
    try {
        Files.createDirectories(chunkDir);
        return ResponseEntity.ok(
            new UploadSession(sessionId, chunkDir.toString(), fileMd5));
    } catch (IOException e) {
        log.error("目录创建失败", e);
        return ResponseEntity.internalServerError().build();
    }
}

分块上传接口：

java复制@PostMapping("/chunk")
public ResponseEntity<String> uploadChunk(
        @RequestParam MultipartFile chunk,
        @RequestParam String sessionId,
        @RequestParam String fileMd5,
        @RequestParam Integer chunkIndex,
        @RequestParam String chunkMd5) {
    
    // 1. 参数校验
    if (chunk.isEmpty()) {
        return ResponseEntity.badRequest().body("空分块");
    }
    
    // 2. 分块完整性验证
    try {
        String actualMd5 = DigestUtils.md5Hex(chunk.getBytes());
        if (!chunkMd5.equals(actualMd5)) {
            return ResponseEntity.status(416)
                    .body("分块校验失败");
        }
    } catch (IOException e) {
        return ResponseEntity.internalServerError()
                .body("分块读取失败");
    }
    
    // 3. 存储分块
    Path chunkPath = Paths.get("uploads/chunks", 
            fileMd5 + "_" + sessionId, "chunk_" + chunkIndex);
    try {
        chunk.transferTo(chunkPath);
        return ResponseEntity.ok("分块上传成功");
    } catch (IOException e) {
        log.error("分块存储失败", e);
        return ResponseEntity.internalServerError()
                .body("分块保存失败");
    }
}

3.3 高性能文件合并方案

基本合并方法：

java复制public void merge