去年接了一个内部管理系统的改造,用户要求网页端能直接上传21G的视频素材包。刚听到这个需求的时候,我以为把后台上传大小限制调一下就完事了,结果一测试就翻车:浏览器直接卡死、Nginx报413、Java后端直接OutOfMemoryError: Insufficient memory。后来老老实实把整个上传链路改成了分段上传加断点续传,才算把这个问题彻底解决。
这个场景在现在太常见了:大文件网盘、视频平台、数据标注后台、企业内部素材库,几乎都要面对超大附件的上传需求。而HTTP协议本身对上传大小没有硬性限制,真正的瓶颈在于Web容器、代理层、浏览器内存和网络稳定性。这篇文章就把我实现超大附件分段上传和续传的全过程拆开讲一遍,包括方案选型、前端切片、后端接收、分片合并、进度续传,以及我踩过的各种坑。适合正在做Java网页开发、被大文件上传折磨过的后端工程师和全栈开发者参考。
1. 先想清楚:为什么传统上传扛不住超大附件
1.1 一个“21G文件”逼出来的改造
传统的文件上传,前端拿一个 <input type="file">,后端用 MultipartFile 接收,看起来很简单。但文件一上G,问题就全冒出来了。
首先是浏览器端。用FormData一次性把整个文件塞进请求体,文件越大内存占用越高。以Chrome为例,一次请求会先把文件读进内存再发送,21G的文件直接能把浏览器标签页干崩。就算勉强发出去,请求体在网络上传输20多分钟,中间随便抖一下,整个请求就断了,用户只能从头再来。
其次是服务端。Spring Boot默认的 spring.servlet.multipart.max-file-size 只有1MB,加上 max-request-size 也只有10MB。就算手动调大到30G,Tomcat在处理超大请求体时,会尝试把内容缓存到内存或临时文件,内存一不够就报 OutOfMemoryError: Insufficient memory,而且这种错误一旦出现,往往整个应用都会被拖垮。
第三个问题是不可恢复性。普通上传是一次性请求,失败就是失败,没有“我传了一半继续传”的概念。大文件传输最大的痛点不是传输本身,而是“白传”。一旦失败,前面几个G的流量全部浪费。用户面对21G的素材包,传了3个小时突然断网,那种挫败感是体验上最致命的。
所以做超大附件上传,核心要解决三件事:减少单次传输的资源消耗、把大任务拆成可重试的小任务、让每一部分都能独立确认状态。分段上传和断点续传就是围绕这三件事展开的。
1.2 分段上传和续传的本质
分段上传的思路很直观:把一个大文件按照固定大小切成若干块,比如21G的文件切成2048个10MB的分片,每次只上传其中一个分片。每个分片是一次独立的HTTP请求,成功或失败互不影响。
这么做的好处在于:
- 单次请求体很小,内存占用可控,不再需要一次性读入整个文件。
- 某个分片失败只需要重传那个分片,而不是整个文件。
- 可以多个分片并发上传,充分利用带宽,比单线程快得多。
断点续传则是分段上传之上的状态管理。浏览器端在发起上传前,先通过文件内容生成一个唯一标识,然后去服务端查询这个文件已经传了哪些分片。已传过的分片直接跳过,只传剩余的部分。
两者的关系可以这样理解:分段上传解决了“怎么传”的问题,断点续传解决了“传了一半怎么接着传”的问题。分段是基础,续传是加分项。如果只做分段不做续传,用户刷新页面还是要从头传,只是比传统方式稍微好一点;但只有把续传做出来,才真正解决超大文件上传的核心体验。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 方案选型:断点续传不是玄学,是这四件事
2.1 谁来做分段:前端切片才是正解
实现分段上传有两条路:前端用 File.slice() 切片,或者后端在接受完整文件后自己分块。对于网页上传场景,前端切片是绝对的主流。
后端分块听起来好像能省前端的事,但仔细想就会发现逻辑反了:后端要分块,必须先把整个文件接收完,那么HTTP请求体仍然是超大文件,前面的内存、超时、失败重传问题一个都没解决。后端分块适合的场景是服务端内部处理大文件,比如从对象存储下载到本地再切片处理,而不是用户上传场景。
前端切片用的是HTML5的 File API,File对象继承自Blob,有 slice() 方法,可以按字节范围截取文件的一部分:
javascript复制const file = input.files[0];
const chunkSize = 10 * 1024 * 1024; // 10MB
const totalChunks = Math.ceil(file.size / chunkSize);
for (let i = 0; i < totalChunks; i++) {
const start = i * chunkSize;
const end = Math.min(file.size, start + chunkSize);
const chunk = file.slice(start, end);
// 上传这个chunk
}
这里有几个容易被忽略的细节。file.slice() 拿到的是Blob对象,传给FormData时可以正常使用,不需要转成File。切片的次数和文件大小、分片大小有关,21G文件按1MB切片会有两万多个分片,按50MB切片只有400多个,这个数量会直接影响请求次数和服务端文件句柄数。
另外要注意,切片是在内存中拿着文件的引用,不是真的把文件复制了一份,所以不用担心切片导致内存翻倍。真正吃内存的是把切片读取成ArrayBuffer或DataURL的过程,上传时用FormData直接传Blob就没这个问题。
2.2 分片大小怎么定:平衡请求数与重传成本
分片大小没有标准答案,需要根据网络环境、服务器承受能力、失败重试代价来权衡。我见过有人用1MB的分片,也有人用50MB的分片,关键是算清楚账。
先说分片过大。假设分片是100MB,用户带宽上行10Mbps,理论上传一个分片要80秒。如果传了90秒突然断网,这个分片就要重传,白费了90秒的流量和用户时间。而且分片越大,单次请求占用后端内存和带宽越久,并发起来之后服务器压力也大。
再说分片过小。分片1MB的话,21G文件要传两万多次请求,每次请求都有HTTP头部开销,而且服务端要为每个分片创建文件、记录状态,请求量大会给数据库和磁盘带来压力。另外分片越小,碎片文件越多,合并时打开文件的次数也越多。
我实际使用的经验值,
