蒲牢森1. 项目背景与核心问题
在图像信号处理（ISP）流水线中，效果参数的存储与传输一直是个棘手问题。以手机摄像头为例，一套完整的3A（AE/AWB/AF）参数加上各种色彩矩阵、伽马曲线、降噪系数等，动辄需要几十KB的存储空间。这对于嵌入式设备有限的存储资源来说是个不小的负担。
我最近在调试某款车载摄像头时，就遇到了参数存储空间不足的问题。原厂提供的ISP效果参数包大小达到78KB，而设备预留的Flash空间只有64KB。经过分析发现，这些参数中大部分是浮点型数组，且相邻参数值的变化往往很小。这让我开始思考：能否利用差分编码结合游程长度压缩（RLE）来减少存储占用？
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 差分序列编码原理
2.1 基本差分编码
差分编码的核心思想是用相邻元素的差值代替原始值。假设原始参数序列为：
code复制[1024, 1025, 1027, 1026, 1025, 1023, ...]
差分处理后变为：
code复制[1024, +1, +2, -1, -1, -2, ...]
在实际ISP参数中，这种差分特性尤为明显。比如AE曝光表，相邻ISO档位之间的曝光时间差值通常很小；AWB的白平衡增益在不同色温下也是渐进变化的。
注意：差分编码对初始值敏感。第一个元素必须完整存储，后续都是相对前一个元素的差值。因此要确保初始值的精度。
2.2 差分统计特性分析
我们对某款ISP的3A参数做了统计分析：
| 参数类型 | 原始数据大小 | 差分后数据范围 | 零值占比 |
|---|---|---|---|
| AE表 | 4.2KB | -128~+127 | 38% |
| AWB矩阵 | 6.7KB | -64~+63 | 41% |
| 伽马曲线 | 12.1KB | -32~+31 | 52% |
数据显示，差分后的数值呈现两个关键特征：
- 数值集中在0附近
- 绝对值大的数值出现频率低
这正是适合RLE压缩的数据特征。
3. BLE/RLE压缩方案设计
3.1 基本RLE原理
传统RLE对连续重复值进行压缩，例如：
code复制原始序列：[0,0,0,0,5,5,12]
RLE编码：[(0,4),(5,2),(12,1)]
但在差分序列中，完全连续的0值并不多见，更多的是0值与非零值交替出现。因此需要改进编码方案。
3.2 块级游程编码(BLE)
我们提出Block-Level Encoding (BLE)方案：
- 将差分序列分块，每块固定N个元素（实验表明N=8效果最佳）
- 对每块统计零值占比：
- 如果全为零：存储单个标记字节0x00
- 如果部分为零：先存储非零值数量k，再存储k个(value, position)对
- 如果无零值：存储标记字节0xFF后接所有原始值
以8字节块为例：
code复制差分块：[0,0,3,0,0,0,-2,0]
BLE编码：0x03 (3个非零值)
0x03,0x02 (值3在位置2)
0xFE,0x06 (值-2在位置6，0xFE表示-2)
3.3 编码优化技巧
-
位置压缩：用3bit表示块内位置(0-7)，与值共用字节
code复制编码格式：[1bit符号][4bit值][3bit位置] 例如：0x03,0x1A → 值+3在位置2 0xFE,0x96 → 值-2在位置6 -
零值块链：对连续的全零块，使用单字节计数：
code复制0x80|n 表示连续n+1个全零块 -
异常值处理：对超出[-15,+15]范围的值，使用转义序列：
code复制0xF0后接2字节原始值
4. 实现与性能测试
4.1 参考实现代码
c复制// BLE压缩核心函数
int ble_compress(const int16_t *diff, int len, uint8_t *output) {
int out_pos = 0;
for(int i=0; i<len; i+=8) {
int zero_cnt = 0;
int16_t nonzeros[8];
uint8_t positions[8];
// 扫描当前块
for(int j=0; j<8; j++) {
if(diff[i+j] == 0) zero_cnt++;
else {
nonzeros[nz_cnt] = diff[i+j];
positions[nz_cnt++] = j;
}
}
// 全零块处理
if(zero_cnt == 8) {
output[out_pos++] = 0x00;
continue;
}
// 部分零块
output[out_pos++] = nz_cnt;
for(int k=0; k<nz_cnt; k++) {
int16_t val = nonzeros[k];
if(val >= -15 && val <= 15) {
output[out_pos] = (val & 0x1F) | (positions[k] << 5);
if(val < 0) output[out_pos] |= 0x10;
out_pos++;
} else {
output[out_pos++] = 0xF0;
*((int16_t*)&output[out_pos]) = val;
out_pos += 2;
}
}
}
return out_pos;
}
4.2 压缩率对比测试
使用某手机ISP的3A参数集测试：
| 压缩方法 | 原始大小 | 压缩后 | 压缩率 |
|---|---|---|---|
| 未压缩 | 78KB | 78KB | 100% |
| gzip -6 | 78KB | 32KB | 41% |
| 差分+BLE | 78KB | 28KB | 36% |
| 差分+gzip | 78KB | 26KB | 33% |
虽然BLE单独使用不如gzip，但有三大优势：
- 解压复杂度极低（适合实时加载）
- 支持随机访问（可直接读取特定参数块）
- 内存占用小（解压只需4KB缓冲区）
5. 实际应用中的注意事项
5.1 差分溢出问题
当相邻参数值变化过大时，差分可能超出存储范围。解决方案：
- 使用更大的数据类型存储差分（如int16代替int8）
- 分段差分：每N个原始值存一个基准值
code复制原始：[1000, 1050, 1100, 2000, 2050] 分段差分（N=3）： 基准值：[1000, 2000] 差分值：[+50, +100, +50]
5.2 浮点数处理技巧
ISP参数多为浮点数，直接差分效果差。建议：
- 乘以缩放因子转为整数：
c复制float gain = 2.34; int16_t stored = round(gain * 256); // 缩放256倍 - 使用对数域差分（适合曝光参数）：
c复制float exposure = 0.01; int16_t stored = round(log2(exposure) * 64);
5.3 硬件友好优化
为提升DSP上的解压速度：
- 将BLE块大小对齐到32位边界
- 使用查表法加速零值判断：
c复制// 预生成8bit掩码的零值计数表 uint8_t zero_count[256] = { /* 0-8的值 */ }; int zcnt = zero_count[block_header];
6. 扩展应用场景
这种压缩方法不仅适用于ISP参数，还可用于：
- 传感器校准数据存储
- 神经网络量化参数的压缩
- 音频EQ参数传输
- 显示设备的Gamma校正表
在某个智能相机项目中，我们还将此方案用于固件升级包的差分压缩，使OTA包大小减少了43%。关键是在版本迭代时，大部分参数的实际变化很小，差分压缩能极大减少传输数据量。