卫星遥感数据大文件上传方案设计与实现

1. 项目背景与需求分析

在航空航天领域的数据处理中，卫星遥感数据的上传是一个常见但极具挑战性的需求。这类数据通常具有以下特点：

• 单文件体积庞大（4GB以上）
• 数据完整性要求极高（任何分片丢失都会导致整个数据集失效）
• 需要支持断点续传（网络环境可能不稳定）
• 需要跨浏览器兼容（不同机构使用的浏览器各异）

我们最初采用百度WebUploader组件，但在实际应用中发现了几个关键问题：

1. 分片校验机制不够完善，偶尔会出现数据损坏的情况
2. 对现代浏览器的File API支持不够理想
3. 组件体积庞大但功能冗余
4. 自定义校验逻辑难以实现

2. 技术方案选型

2.1 现有方案评估

我们对主流大文件上传方案进行了横向对比：

2.2 自定义方案设计要点

基于卫星遥感数据的特殊性，我们确定了以下设计原则：

1. 可靠性优先：必须实现严格的分片校验机制
2. 渐进增强：基础功能稳定后再优化性能
3. 可观测性：完善的日志和错误上报
4. 可扩展性：预留后期支持WebSocket等协议的接口

3. 核心实现细节

3.1 增强型分片策略

javascript复制// 改进后的分片函数（支持卫星数据专用校验）
const chunkFile = async (file, chunkSize = 5 * 1024 * 1024) => {
  const chunks = []
  let current = 0
  const fileHash = await calculateFileHash(file) // 全文件SHA-256计算
  
  while (current < file.size) {
    const chunk = file.slice(current, current + chunkSize)
    const chunkHash = await calculateChunkHash(chunk)
    
    chunks.push({
      file: chunk,
      chunkIndex: chunks.length,
      totalChunks: Math.ceil(file.size / chunkSize),
      fileHash,
      chunkHash,
      // 其他元数据...
    })
    current += chunkSize
  }
  return chunks
}

// 使用Web Crypto API计算哈希
const calculateHash = async (data, algorithm = 'SHA-256') => {
  const buffer = data instanceof Blob ? await data.arrayBuffer() : data
  const hash = await crypto.subtle.digest(algorithm, buffer)
  return Array.from(new Uint8Array(hash))
    .map(b => b.toString(16).padStart(2, '0'))
    .join('')
}

关键改进：

1. 采用Web Crypto API替代简单的MD5计算
2. 同时计算文件整体哈希和分片哈希
3. 使用ArrayBuffer处理二进制数据更可靠

3.2 Vue3组件实现

typescript复制// FileUploader.vue
import { ref, computed } from 'vue'
import type { UploadChunk, UploadStatus } from './types'

export default {
  setup() {
    const state = reactive({
      file: null as File | null,
      chunks: [] as UploadChunk[],
      status: 'idle' as UploadStatus,
      progress: 0,
      error: null as Error | null,
      currentChunk: 0,
      controller: null as AbortController | null
    })

    const uploadRate = computed(() => {
      // 计算实时上传速率（MB/s）
    })

    const estimatedTime = computed(() => {
      // 计算剩余时间
    })

    const chunkFile = async (file: File) => {
      // 分片实现...
    }

    const startUpload = async () => {
      if (!state.file) return
      
      state.controller = new AbortController()
      state.status = 'uploading'
      
      try {
        for (let i = state.currentChunk; i < state.chunks.length; i++) {
          if (state.status !== 'uploading') break
          
          const chunk = state.chunks[i]
          const formData = new FormData()
          
          // 构建包含校验数据的分片表单
          appendChunkToFormData(formData, chunk)
          
          await uploadChunk(formData, state.controller.signal)
          
          state.currentChunk = i + 1
          state.progress = Math.round(((i + 1) / state.chunks.length) * 100)
          
          // 保存上传状态到IndexedDB
          await saveUploadState()
        }
        
        if (state.status === 'uploading') {
          await mergeChunks()
          state.status = 'completed'
        }
      } catch (err) {
        handleUploadError(err)
      }
    }

    return {
      state,
      uploadRate,
      estimatedTime,
      startUpload,
      pauseUpload: () => {
        state.controller?.abort()
        state.status = 'paused'
      }
    }
  }
}

3.3 服务端校验增强

PHP服务端增加了严格的校验逻辑：

php复制// upload-chunk.php
$chunkHash = $_POST['chunkHash'] ?? '';
$receivedHash = hash_file('sha256', $_FILES['file']['tmp_name']);

if ($chunkHash !== $receivedHash) {
    http_response_code(422);
    echo json_encode([
        'status' => 'error',
        'code' => 'CHUNK_HASH_MISMATCH',
        'message' => '分片校验失败',
        'expected' => $chunkHash,
        'actual' => $receivedHash
    ]);
    exit;
}

// 只有校验通过才保存分片
if (move_uploaded_file($_FILES['file']['tmp_name'], $chunkPath)) {
    // 记录校验成功的分片信息
    file_put_contents(
        $statusFile,
        json_encode([
            'verifiedChunks' => array_merge(
                $status['verifiedChunks'] ?? [],
                [['index' => $chunkIndex, 'hash' => $chunkHash]]
            )
        ])
    );
}

4. 航空航天场景特殊处理

4.1 卫星数据专用校验

针对遥感数据特点，我们实现了：

1. 分片级校验：每个分片独立SHA-256校验
2. 整体校验：文件合并后再次全量校验
3. 元数据校验：检查卫星数据头文件完整性

javascript复制// 卫星数据头文件校验
const validateSatelliteHeader = (chunk) => {
  const HEADER_MAGIC = [0x53, 0x41, 0x54, 0x48]; // "SATH"
  const header = new Uint8Array(chunk.slice(0, 4));
  
  return HEADER_MAGIC.every((val, i) => val === header[i]);
}

4.2 断点续传增强

1. 使用IndexedDB存储本地状态
2. 服务端记录已校验分片
3. 实现三种恢复策略：
   • 网络中断自动重试
   • 浏览器崩溃后恢复
   • 跨设备续传（需认证）

5. 性能优化实践

5.1 动态分片策略

根据网络状况自动调整分片大小：

javascript复制const getDynamicChunkSize = () => {
  const connection = navigator.connection
  if (!connection) return DEFAULT_CHUNK_SIZE
  
  switch (connection.effectiveType) {
    case '4g': return 10 * 1024 * 1024 // 10MB
    case '3g': return 2 * 1024 * 1024  // 2MB
    default: return DEFAULT_CHUNK_SIZE  // 5MB
  }
}

5.2 并发上传控制

实现智能并发队列：

javascript复制class UploadQueue {
  constructor(maxConcurrent = 3) {
    this.queue = []
    this.active = 0
    this.max = maxConcurrent
  }

  add(task) {
    return new Promise((resolve, reject) => {
      this.queue.push({ task, resolve, reject })
      this.next()
    })
  }

  next() {
    while (this.active < this.max && this.queue.length) {
      const { task, resolve, reject } = this.queue.shift()
      this.active++
      
      task()
        .then(resolve)
        .catch(reject)
        .finally(() => {
          this.active--
          this.next()
        })
    }
  }
}

6. 错误处理与监控

6.1 错误分类处理

6.2 监控指标实现

javascript复制// 上报关键指标
const reportMetrics = (metrics) => {
  const analyticsEndpoint = '/api/upload-metrics'
  
  navigator.sendBeacon(analyticsEndpoint, JSON.stringify({
    ...metrics,
    userAgent: navigator.userAgent,
    timestamp: Date.now(),
    fileType: state.file?.type,
    fileSize: state.file?.size
  }))
}

// 监控关键事件
onMounted(() => {
  watch(() => state.status, (newVal) => {
    reportMetrics({
      event: `upload_${newVal}`,
      duration: uploadTimer.value,
      chunksUploaded: state.currentChunk
    })
  })
})

7. 实际部署经验

7.1 浏览器兼容性处理

我们发现并解决了以下浏览器特定问题：

1. Firefox：对超大ArrayBuffer的处理限制
   • 解决方案：分块计算哈希
2. Safari：跨域请求的特殊行为
   • 解决方案：调整CORS配置
3. 移动端浏览器：后台标签页限制
   • 解决方案：使用Service Worker保持连接

7.2 服务端调优

PHP配置关键参数：

ini复制; php.ini 调整
upload_max_filesize = 10G
post_max_size = 12G
max_execution_time = 3600
memory_limit = 2G

8. 效果验证

在真实卫星数据上传场景中的表现：

9. 后续优化方向

1. WebAssembly加速：将哈希计算迁移到WASM
2. P2P传输：探索WebRTC分片分发
3. 增量上传：只上传变更部分
4. 量子加密：为敏感数据增加量子安全算法

在实际部署中，我们总结出几点关键经验：

• 卫星数据上传必须实现端到端校验
• 分片大小需要根据实际网络质量动态调整
• 错误恢复机制比预防更重要
• 详细的日志是排查问题的关键

对于需要处理超大遥感数据的团队，建议先在小规模测试中验证核心流程，再逐步扩展功能。我们开源的实现方案已经过多个卫星项目验证，可以作为可靠的起点进行二次开发。