闲书郎1. 为什么需要大文件分块上传？
在Web开发中，处理大文件上传一直是个令人头疼的问题。我曾在项目中遇到过用户上传2GB视频文件导致服务器直接崩溃的情况——PHP默认配置下，单个上传文件通常被限制在2MB到8MB之间，即使调整了php.ini中的upload_max_filesize和post_max_size参数，仍然存在诸多隐患。
传统表单上传方式有三个致命缺陷：首先，网络波动可能导致整个上传过程失败，用户不得不从头开始；其次，服务器需要临时存储完整的文件内容，这对内存和磁盘都是巨大压力；最后，缺乏上传进度反馈，用户体验极差。而分块上传技术将大文件切割成多个小块（通常1-5MB），逐个上传到服务器后再合并，完美解决了这些问题。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心实现方案设计
2.1 前端分块处理逻辑
前端需要承担文件分块的核心工作。假设我们使用JavaScript的File API，关键代码如下：
javascript复制// 获取文件对象
const file = document.getElementById('file-input').files[0];
const chunkSize = 2 * 1024 * 1024; // 2MB分块
const totalChunks = Math.ceil(file.size / chunkSize);
for (let i = 0; i < totalChunks; i++) {
const start = i * chunkSize;
const end = Math.min(start + chunkSize, file.size);
const chunk = file.slice(start, end);
// 构建包含元数据的FormData
const formData = new FormData();
formData.append('file', chunk);
formData.append('chunkNumber', i + 1);
formData.append('totalChunks', totalChunks);
formData.append('originalFilename', file.name);
formData.append('fileSize', file.size);
// 发送分块到服务器
uploadChunk(formData);
}
关键细节：每个分块必须包含全局唯一的文件标识符（建议使用md5(file.name + file.size + timestamp)），否则服务器无法识别属于同一文件的分块。
2.2 服务端PHP处理逻辑
PHP端需要实现三个核心功能：接收分块、临时存储、合并文件。以下是基础实现框架：
php复制// upload.php
$targetDir = "uploads/tmp_".$_POST['originalFilename'];
$chunkPath = $targetDir.'/'.$_POST['chunkNumber'];
// 创建临时目录
if (!file_exists($targetDir)) {
mkdir($targetDir, 0777, true);
}
// 移动分块文件
move_uploaded_file($_FILES['file']['tmp_name'], $chunkPath);
// 检查是否所有分块已上传
$uploadComplete = true;
for ($i = 1; $i <= $_POST['totalChunks']; $i++) {
if (!file_exists($targetDir."/".$i)) {
$uploadComplete = false;
break;
}
}
// 合并分块
if ($uploadComplete) {
$finalPath = "uploads/".$_POST['originalFilename'];
$fp = fopen($finalPath, 'wb');
for ($i = 1; $i <= $_POST['totalChunks']; $i++) {
$chunk = file_get_contents($targetDir."/".$i);
fwrite($fp, $chunk);
}
fclose($fp);
deleteDirectory($targetDir); // 清理临时文件
echo json_encode(['status' => 'success']);
}
3. 生产环境必备的增强功能
3.1 断点续传实现
实际项目中必须支持断点续传，这需要三个关键改进：
- 服务端记录上传进度：
php复制// 在接收分块前先检查是否已存在
if (file_exists($chunkPath)) {
header('HTTP/1.1 200 OK');
echo json_encode(['status' => 'exists']);
exit;
}
- 前端增加重试机制：
javascript复制function uploadChunk(formData) {
return fetch('/upload.php', {
method: 'POST',
body: formData
}).then(response => {
if (!response.ok) throw new Error('Upload failed');
return response.json();
}).catch(error => {
// 指数退避重试
return new Promise(resolve => {
setTimeout(() => {
uploadChunk(formData).then(resolve);
}, 1000 * Math.pow(2, retryCount));
});
});
}
- 增加MD5校验：
php复制// 合并前校验每个分块的完整性
$expectedMd5 = $_POST['chunkMd5'];
$actualMd5 = md5_file($chunkPath);
if ($expectedMd5 !== $actualMd5) {
unlink($chunkPath);
http_response_code(400);
exit('Chunk corrupted');
}
3.2 并发控制优化
不加控制的高并发上传会导致服务器负载激增。推荐两种解决方案：
- 令牌桶算法控制并发：
php复制// 在Redis中实现简单计数器
$redis = new Redis();
$redis->connect('127.0.0.1');
$current = $redis->incr('upload_concurrency');
if ($current > 10) {
$redis->decr('upload_concurrency');
http_response_code(429);
exit('Too many concurrent uploads');
}
// 上传完成后
register_shutdown_function(function() use ($redis) {
$redis->decr('upload_concurrency');
});
- 前端队列控制：
javascript复制class UploadQueue {
constructor(maxConcurrent = 3) {
this.queue = [];
this.activeCount = 0;
this.maxConcurrent = maxConcurrent;
}
add(task) {
this.queue.push(task);
this.run();
}
run() {
while (this.activeCount < this.maxConcurrent && this.queue.length) {
const task = this.queue.shift();
this.activeCount++;
task().finally(() => {
this.activeCount--;
this.run();
});
}
}
}
4. 性能优化与安全加固
4.1 内存优化技巧
处理大文件时务必注意内存消耗：
- 流式合并替代全量读取：
php复制$fp = fopen($finalPath, 'wb');
for ($i = 1; $i <= $_POST['totalChunks']; $i++) {
$chunkFp = fopen($targetDir."/".$i, 'rb');
while (!feof($chunkFp)) {
fwrite($fp, fread($chunkFp, 8192));
}
fclose($chunkFp);
}
fclose($fp);
- 使用tmpfile()处理临时文件：
php复制$tempHandle = tmpfile();
$chunkHandle = fopen($chunkPath, 'rb');
stream_copy_to_stream($chunkHandle, $tempHandle);
fclose($chunkHandle);
// 脚本结束后tmpfile自动删除
4.2 安全防护措施
- 文件类型白名单校验：
php复制$allowedTypes = ['image/jpeg', 'application/pdf'];
if (!in_array($_FILES['file']['type'], $allowedTypes)) {
unlink($_FILES['file']['tmp_name']);
exit('Invalid file type');
}
- 文件名防注入处理：
php复制$filename = preg_replace('/[^a-zA-Z0-9\-\._]/', '', $_POST['originalFilename']);
$filename = substr($filename, 0, 100); // 限制长度
- 分块目录隔离：
php复制$sessionId = session_id();
$targetDir = "uploads/{$sessionId}_".md5($_POST['originalFilename']);
5. 完整示例与调试技巧
5.1 完整PHP后端实现
以下是增强版的上传处理器：
php复制<?php
header('Content-Type: application/json');
session_start();
// 配置检查
if (!isset($_FILES['file'], $_POST['chunkNumber'], $_POST['totalChunks'])) {
http_response_code(400);
die(json_encode(['error' => 'Invalid request']));
}
// 安全过滤
$fileId = md5($_POST['originalFilename'].$_POST['fileSize']);
$chunkNumber = (int)$_POST['chunkNumber'];
$totalChunks = (int)$_POST['totalChunks'];
$targetDir = "uploads/{$fileId}_parts";
// 创建临时目录
if (!file_exists($targetDir)) {
mkdir($targetDir, 0755, true);
}
// 移动分块
$chunkPath = "{$targetDir}/{$chunkNumber}";
if (!move_uploaded_file($_FILES['file']['tmp_name'], $chunkPath)) {
http_response_code(500);
die(json_encode(['error' => 'Chunk save failed']));
}
// 检查完成状态
$completed = true;
for ($i = 1; $i <= $totalChunks; $i++) {
if (!file_exists("{$targetDir}/{$i}")) {
$completed = false;
break;
}
}
// 合并文件
if ($completed) {
$finalPath = "uploads/".basename($_POST['originalFilename']);
$finalHandle = fopen($finalPath, 'wb');
for ($i = 1; $i <= $totalChunks; $i++) {
$chunkHandle = fopen("{$targetDir}/{$i}", 'rb');
stream_copy_to_stream($chunkHandle, $finalHandle);
fclose($chunkHandle);
unlink("{$targetDir}/{$i}");
}
fclose($finalHandle);
rmdir($targetDir);
// 文件校验
if (filesize($finalPath) != $_POST['fileSize']) {
unlink($finalPath);
die(json_encode(['error' => 'File size mismatch']));
}
echo json_encode(['status' => 'complete']);
} else {
echo json_encode(['status' => 'chunk_uploaded']);
}
5.2 常见问题排查
-
413 Request Entity Too Large：
- 检查nginx配置：
client_max_body_size 100M; - 检查php.ini：
upload_max_filesize = 100M和post_max_size = 101M
- 检查nginx配置：
-
临时目录权限问题：
bash复制chown -R www-data:www-data /var/www/uploads chmod -R 755 /var/www/uploads -
内存耗尽错误：
- 在php.ini中调整：
memory_limit = 256M - 使用
ini_set('memory_limit', '-1')临时解除限制（仅限测试环境）
- 在php.ini中调整：
-
跨域问题：
php复制header('Access-Control-Allow-Origin: *'); header('Access-Control-Allow-Methods: POST'); header('Access-Control-Allow-Headers: Content-Type'); -
上传进度监控：
javascript复制// 前端使用XMLHttpRequest的progress事件 xhr.upload.onprogress = function(e) { const percent = Math.round((e.loaded / e.total) * 100); updateProgressBar(percent); };
在实际项目中，我曾遇到一个棘手问题：当分块上传到90%时频繁失败。最终发现是PHP的max_execution_time设置过短导致。解决方案是在上传脚本开始处设置：
php复制set_time_limit(0); // 禁用执行时间限制
ini_set('max_input_time', 300); // 5分钟输入时间
另一个经验是：对于超大规模文件（如10GB以上），建议直接使用AWS S3分片上传或其他对象存储服务，避免给Web服务器带来过大压力。PHP端可以只作为中转控制器，协调前端与存储服务间的交互。