大文件上传技术：断点续传与分片上传实战

1. 大文件上传的技术挑战与核心需求

在Web应用开发中，文件上传是最基础的功能之一。但当文件尺寸超过100MB时，传统的表单上传方式就会暴露出诸多问题：网络波动导致上传失败、服务器内存溢出、用户等待时间过长等。我曾经接手过一个医疗影像管理系统项目，医生需要上传平均500MB的CT扫描文件，最初采用普通上传方案时失败率高达30%，这就是促使我深入研究大文件上传技术的契机。

大文件上传的核心技术需求可以归纳为三点：

• 稳定性：必须解决网络中断、页面刷新等意外情况下的上传恢复
• 性能：需要充分利用客户端和服务器资源实现高效传输
• 用户体验：要提供进度反馈和可控性，避免用户长时间等待的焦虑

2. 断点续传的核心原理

2.1 文件分片策略

将大文件切割为等大小的分片（通常1-5MB），每个分片独立上传。这样设计基于两个考量：

1. 减小单次请求失败的影响范围
2. 便于并行上传提升速度

分片大小的选择需要权衡：

• 过小（<1MB）：HTTP头开销占比过高
• 过大（>10MB）：失去分片的意义

java复制// 文件分片示例代码
int chunkSize = 2 * 1024 * 1024; // 2MB
byte[] buffer = new byte[chunkSize];
try (InputStream is = new FileInputStream(file)) {
    int len;
    while ((len = is.read(buffer)) > 0) {
        // 上传分片逻辑
    }
}

2.2 断点续传实现机制

关键数据结构设计：

java复制class UploadRecord {
    String fileMd5;      // 文件唯一标识
    int totalChunks;     // 总分片数
    Set<Integer> uploadedChunks = new HashSet<>(); // 已上传分片
    String filePath;     // 最终存储路径
}

服务器需要维护上传状态信息，通常采用Redis存储：

• Key: file_md5 + user_id
• Val