SpringBoot+Vue实现大文件分片上传与断点续传方案

1. 项目背景与需求分析

在教育行业信息化建设中，学校官网视频资源的管理一直是个痛点。传统方案中，教师上传教学视频经常遇到以下问题：大文件上传失败率高、网络波动导致重复上传、服务器存储压力大。我们为重庆某教育集团开发的这套基于SpringBoot的文件传输系统，正是为了解决这些实际问题。

这个系统的核心价值在于：

• 支持单文件最大100GB的稳定传输
• 断网断电后自动续传，进度不丢失
• 国密级加密保障教育数据安全
• 适配各类国产化信创环境

2. 技术架构设计

2.1 整体架构方案

系统采用前后端分离架构：

• 前端：Vue2 CLI + 自研上传组件
• 后端：SpringBoot 2.7 + MyBatis
• 存储：华为云OBS + 本地存储双模式
• 安全：SM4国密算法加密传输

这种架构选择主要基于：

1. Vue的响应式特性适合实时展示上传进度
2. SpringBoot的自动配置简化了文件处理逻辑
3. 华为云OBS提供高可靠的对象存储服务
4. 国密算法满足教育行业安全合规要求

2.2 关键技术选型

3. 核心实现细节

3.1 前端上传组件实现

关键代码结构：

javascript复制class UploadService {
  constructor() {
    this.chunkSize = 10 * 1024 * 1024 // 10MB分片
    this.db = new IndexedDB('uploadRecords') // 断点续传数据库
  }

  async upload(file) {
    const fileHash = await this.calculateHash(file) // 文件指纹计算
    const { uploadedChunks } = await this.db.getRecord(fileHash) 
    
    for (let i = 0; i < chunks; i++) {
      if (uploadedChunks.includes(i)) continue // 跳过已上传分片
      
      const chunk = file.slice(i*chunkSize, (i+1)*chunkSize)
      const encrypted = SM4.encrypt(chunk) // 国密加密
      
      await axios.post('/api/upload', {
        chunk: encrypted,
        index: i,
        hash: fileHash
      })
      
      await this.db.saveChunk(fileHash, i) // 记录成功分片
    }
  }
}

这段代码实现了：

1. 文件分片处理
2. 断点续传状态管理
3. 分片级加密
4. 上传进度持久化

3.2 后端接收逻辑

SpringBoot核心控制器：

java复制@RestController
@RequestMapping("/upload")
public class UploadController {
    
    @PostMapping
    public ResponseEntity chunkUpload(
        @RequestParam("chunk") MultipartFile chunk,
        @RequestParam("index") int index,
        @RequestParam("hash") String fileHash) {
        
        // 解密分片
        byte[] decrypted = SM4Util.decrypt(chunk.getBytes());
        
        // 存储到临时目录
        String tempPath = "/tmp/" + fileHash;
        Files.write(Paths.get(tempPath, index+".part"), decrypted);
        
        // 检查是否所有分片上传完成
        if (checkAllChunksReceived(fileHash)) {
            mergeChunks(fileHash); // 合并文件
            saveToStorage(fileHash); // 转存正式存储
        }
        
        return ResponseEntity.ok().build();
    }
}

关键处理步骤：

1. 接收加密分片
2. 解密后暂存临时目录
3. 检查分片完整性
4. 合并完整文件

4. 性能优化实践

4.1 上传加速方案

我们通过以下方式提升大视频上传效率：

1. 并发上传：前端同时传输3个分片（需权衡浏览器并发限制）
2. 压缩预处理：视频在上传前先进行H.265转码
3. 智能分片：根据网络质量动态调整分片大小（5-20MB浮动）

实测效果：

• 1GB视频上传时间从原12分钟降至4分钟
• 失败率从15%降至0.3%

4.2 存储优化策略

针对教育视频的特点，我们设计了分级存储方案：

这种方案使存储成本降低了60%，同时保证了热门资源的访问速度。

5. 安全防护措施

5.1 传输安全实现

我们采用双重加密保障：

1. 传输层：HTTPS + 自定义加密协议
2. 内容层：SM4分片加密

加密流程：

code复制原始分片 -> SM4加密 -> Base64编码 -> HTTPS传输 -> Base64解码 -> SM4解密 -> 存储

5.2 防篡改机制

每个分片包含：

• CRC32校验码
• 数字签名
• 时间戳

后端会验证：

1. 分片完整性（CRC32）
2. 请求合法性（签名）
3. 时效性（5分钟内有效）

6. 国产化适配经验

在统信UOS系统适配过程中，我们遇到的主要挑战和解决方案：

1. 浏览器兼容问题：

   • 龙芯浏览器不支持最新Web Crypto API
   • 解决方案：引入polyfill并降级使用SHA-1哈希算法

2. 操作系统差异：

   • 麒麟系统路径长度限制
   • 解决方案：重构文件存储路径算法，改用短哈希值

3. 硬件加速缺失：

   • 国产CPU缺乏AES-NI指令集
   • 解决方案：启用SM4软实现并优化算法

7. 典型问题排查

7.1 分片错位问题

现象：合并后的视频出现花屏或音画不同步
原因：网络重传导致分片接收顺序错乱
解决方案：

1. 前端为每个分片添加唯一序列号
2. 后端使用跳表结构存储分片
3. 合并前按序号严格排序

7.2 内存泄漏问题

现象：长时间运行后服务器内存持续增长
排查过程：

1. 使用JProfiler分析堆内存
2. 发现未关闭的临时文件流
3. 定位到异常处理分支未释放资源
   修复方案：

java复制try (InputStream is = chunk.getInputStream()) {
    // 处理逻辑
} catch (Exception e) {
    // 确保资源释放
}

8. 部署实践建议

8.1 服务器配置

推荐生产环境配置：

• CPU：8核（国产芯片需16核）
• 内存：32GB起步
• 磁盘：RAID10阵列 + 1TB SSD
• 网络：10Gbps带宽

8.2 参数调优

关键SpringBoot配置：

yaml复制server:
  max-http-header-size: 32KB 
  tomcat:
    max-swallow-size: 200MB # 大文件上传缓冲区
    
spring:
  servlet:
    multipart:
      max-file-size: 100GB
      max-request-size: 100GB

9. 效果验证数据

上线三个月后的关键指标：

这套系统现已稳定支持日均3000+教学视频的上传下载，成为学校数字资源平台的核心组件。在实际使用中发现，合理的分片策略和稳定的元数据管理是保证断点续传可靠性的关键。