伍治坚做高光谱的朋友应该都有过这种经历：手里只有一张普通RGB照片，或者某个设备只输出几个宽波段，但要分析的目标物偏偏需要连续光谱信息。还有更常见的场景——高光谱采集设备要么贵，要么慢，一个几十上百波段的数据立方体拍下来，可能需要几秒甚至几分钟，根本没法应对流水线上的动态检测。光谱重建（Spectral Reconstruction）要解决的，就是这种“从有限观测反推完整光谱”的问题，也是高光谱成像基础系列里相当核心的一环。
这篇是系列的第十二篇，我会把光谱重建这件事讲透：它到底重建的是什么、数学模型长什么样、为什么无脑反算不行、目前主流的字典和深度学习方法各自靠谱在哪，最后给一个能在笔记本上直接跑通的小实验，以及我在实际项目里踩过的坑。适合刚接触高光谱数据处理的工程师，也适合准备做RGB到高光谱重建、压缩快照成像重建的朋友参考。
1. 光谱重建到底是什么：三种常见的任务形态
1.1 高光谱数据立方体与降维观测
先理一下概念。高光谱成像获取的是一个三维数据立方体（x，y，λ），前两个维度是空间坐标，第三个维度是波长。普通相机的成像，本质上是把光谱维度积压成了几个通道值——比如sRGB相机就是三个通道，每个通道是光谱与滤光片光谱响应函数的积分结果。高光谱相机则完全不同，它把光谱分成几十上百个窄波段分别记录。
问题是，高光谱数据获取成本高、速度慢、存储占用大。很多场景下我们并不需要“先完整采集合成数据再做分析”，而是希望直接从低维观测里把高维光谱信息“补回来”。光谱重建就是指这样一个逆过程：给定系统已知的观测（RGB、多光谱、压缩测量等）和成像模型先验，恢复出完整连续的光谱反射率或辐亮度曲线。
这就像你用一张打了马赛克的图去复原高清原图，只不过这里马赛克不是空间上的，而是光谱方向的“像素合并”。RGB里的3个通道，要对齐到31个或者更多波段，信息缺口非常大，所以这个逆向问题天生就不是老实人能干的活——它需要很强的先验来补全丢失的信息。
1.2 三种典型任务形态与影响范围
光谱重建在高光谱成像相关领域里，实际包含三种差别很大的任务形态，搞清楚自己属于哪种，才能选对方法。
第一种是RGB或多光谱到高光谱的重建。这是目前学术圈最热的方向，典型的公开数据集是ICVL（以色列理工采集的室内高光谱图像）、CAVE、NUS等。NTIRE挑战赛专门设有Spectral Reconstruction赛道，输入就是一张sRGB图像，输出是31个波段的反射率立方体。这种任务在颜色科学、电商无损色差评估、医学影像、文物保护等领域影响很大，因为普通消费级相机就能作为“光谱采集前端”，把设备成本降一到两个数量级。
第二种是压缩快照光谱成像（CASSI）中的重建。这类系统在探测器前面加一块编码孔径掩膜和色散元件，只拍一张二维投影图，就把三维数据立方体全部编码在里面，再通过算法重建。因为单帧曝光就能采集完整光谱，很适合瞬态事件和动态目标观测。这里重建的不只是光谱维，还牵扯到空间混叠的解纠缠，难度比第一种要高不少。
第三种是遥感领域的光谱模拟与重建。比如利用Sentinel-2这种多光谱卫星的13个波段，重建出接近连续光谱的反射率数据，用于植被、水体、矿物定量反演；或者利用地面光谱库与影像反射率之间的关系，模拟其他传感器的波段响应。这种场景里，观测波段数比RGB多一些，但依然远少于高光谱，重建的目标精度要求也更严格。
这三种形态的共性是：都要建立系统成像模型，都要靠先验来约束解空间。下面就把这个模型展开来看。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 成像模型与病态问题：为什么不能直接反算
2.1 离散化成像模型
成像过程本身是一个连续光谱的积分。对于第k个通道，探测器响应可以写成：
[ y_k = \int l(\lambda) r(\lambda) s_k(\lambda) d\lambda + n_k ]
其中 l(λ) 是照明光源的相对光谱功率分布，r(λ) 是目标物的光谱反射率（也就是我们要重建的对象），s_k(λ) 是第k个通道的光谱灵敏度，包含了滤光片、传感器量子效率等，n_k 是噪声。
实际计算时必须离散化。把波长范围按间隔 Δλ 划分成L个波段，那么一个像素的成像方程就变成：
[ y_k = \sum_{i=1}^{L} l_i r_i s_{k,i} \Delta\lambda + n_k ]
把所有通道堆起来，用矩阵形式表示就是：
code复制y = Φ x + n
这里 x ∈ R^L 是目标光谱向量（比如L=31，对应400nm到700nm，间隔10nm），y ∈ R^K 是观测向量（比如K=3，就是RGB三通道），Φ ∈ R^(K×L) 是系统矩阵，每行是光源、通道灵敏度与波长间隔的乘积。整个处理过程在这里可以被理解为：先有高维光谱x，被系统矩阵Φ投影到低维观测y，再加上噪声n。
如果传感器或光源改变，Φ也会跟着变。这一点很重要，后面很多实战问题都出在这里。
2.2 为什么是病态问题，先验从哪里来
看完模型就知道不能直接反算的原因了。RGB到高光谱的典型设定是L=31、K=3，未知数个数是方程个数的10倍以上，这是一个严重的欠定问题。方程组有无穷多个解，随便找都能找出一个能完美拟合RGB观测但又完全不同于真实反射率的光谱。
即使在一些方案里观测波段多一些，比如多光谱卫星13个波段对应目标几十个波段，问题依然是病态的，因为Φ的列向量高度相关，解对噪声极其敏感，直接求逆会把噪声放大得没法看。矩阵的条件数往往非常大，稍微一点传感器读数抖动，重建出的光谱就可能出现剧烈振荡。
所以，光谱重建的核心根本不在于“怎么把方程解出来”，而在于“用什么样的先验把解空间大幅缩小”。常见先验主要有这么几类：
- 光谱平滑先验：自然物体的反射率曲线大多是平滑的，相邻波段的反射率不会突然跳变，所以可以用平滑约束来压制噪声和高频振荡。
- 稀疏先验：虽然反射率曲线看起来很复杂，但在一个合适的字典（过完备基）下面，往往只要少数几个原子的线性组合就能逼近。稀疏编码就是在干这件事。
- 低秩先验：同一幅高光谱图像里，不同像素的光谱曲线之间高度相关，把图像按光谱排列成矩阵，这个矩阵的秩通常是远小于波段数的，可以利用低秩特性做重建。
- 隐式学习先验：用大量高光谱数据训练一个神经网络，让网络隐式记住“真实光谱长什么样”，推理时直接用网络预测缺失的光谱信息。
这几种先验都各有适用范围。平滑先验实现简单，适合光谱变化平缓的地物；稀疏字典需要训练数据覆盖目标物的类别；低秩方法适合空间内容丰富且光谱类别有限的场景；深度学习则在大数据条件下能拿到目前最领先的重建精度，但泛化性和可解释性经常让人头疼。接下来按时间线把主流方案串一遍。
3. 主流重建方案盘点：从字典到深度学习的演进
3.1 基于查找表与稀疏字典的重建
早期做RGB到高光谱重建，最直觉的思路是查找表。把训练数据里的RGB向量和高光谱向量成对准备好，测试时给定一个RGB像素，在表里找颜色最接近的几个样本，把对应的光谱做加权平均。这个方法的优点是简单、快、完全可解释，缺点也很明显：表里没覆盖到的颜色，重建效果就一塌糊涂；而且逐像素处理很容易产生空间上的“椒盐噪声”，因为没有利用邻域信息。
Arad和Ben-Shahar在2016年提出的方法，算是把查找表和小型稀疏编码结合了起来。他们的思路是：先用超像素分割把测试图像分成很多块，每个超像素内的像素认为光谱特征近似；然后针对RGB空间做聚类，对每一类单独训练一个高光谱字典；推理时，先在RGB域上做稀疏编码，得到一个稀疏系数，再用这个系数去组合对应的高光谱字典原子。
这个方法把“用RGB查光谱”变成了“用RGB在投影字典里做稀疏分解”，效果比纯查找表提升了一大截，而且不需要GPU，在普通CPU机器上就能跑完整幅图。我在实验室里复现过一次，最直观的感受是：它对训练集的类别覆盖度非常敏感，如果测试目标出现训练集里完全没有的新材料，重建光谱会在几个原子之间来回切换，出现明显的同色异谱误差。
具体实现时，字典训练可以用K-SVD，也可以用sklearn里的DictionaryLearning。稀疏系数求解一般用OMP（正交匹配追踪）或者带非负约束的稀疏编码。很多论文会强调“训练集光谱应该包含足够多样性”，这句话实际做起来比听上去难得多，后面实操部分我会给一个完整示例。
3.2 深度学习重建：网络结构、损失与训练技巧
深度学习成为光谱重建主流，靠的是两件事：一是ICVL、ARAD等大规模高光谱数据集开放，训练样本够多；二是图像超分辨率领域的CNN结构可以直接迁移过来用。
最早一批工作里，HSCNN（Hybrid Spectral Convolutional Neural Network）就是直接用卷积网络把RGB图像映射到31波段的高光谱图像。它的做法很简单：输入3通道图像，经过一系列卷积和上采样模块，输出31通道，损失函数用L2或者MRAE。后来又出现了很多更精细的结构，比如在通道维度上引入注意力机制，让网络更关注光谱重建误差大的波段；或者引入Transformer结构，把光谱维当作序列来建模，捕捉长距离依赖。
关于损失函数，这是一个很容易被新手忽略但影响很大的点。L2损失（均方误差）训练稳定，但结果往往偏平滑，光谱细节容易被抹掉；MRAE（平均相对绝对误差）相对更关注暗区域的相对误差，对高光谱评估指标更友好。比较稳妥的做法是组合损失，比如MRAE加SAM（光谱角误差），前者管强度，后者管形状。如果只盯着RMSE训练，最后重建曲线可能数值接近但峰形不对，这在光谱分析里是致命问题。
训练技巧层面，有两件事值得特别强调。第一是数据增强要围绕光照和传感器响应来做。公开数据集提供的RGB大多是用给定的标准光源和光谱响应模拟出来的，但你实际用的相机、光源未必一样。可以在训练时对高光谱反射率乘上不同的随机光源光谱，再通过随机化的系统矩阵重新渲染RGB，相当于把不同色温、不同色彩风格都喂给网络。第二是patch尺寸的选择。光谱重建网路的感受野不能太小，否则空间颜色过渡区域容易出现伪影；但patch太大训练开销又高。我常用的设置是64×64或者96×96，配一个适中的batch size。
当前NTIRE榜单上领先方法的MRAE普遍可以做到0.05以下，甚至更优。但要注意，这些数字是在统一模拟的观测条件下测出来的，换到真实设备上，精度下降几乎是必然的，所以深度学习方案落地时一定要做传感器适配甚至微调。
3.3 深度展开与物理引导重建
纯深度学习的问题是容易把成像模型当“黑盒”，网络只学数据分布，没有显式利用“RGB是光谱投影而来”这一物理事实。一旦测试数据的颜色特征和训练集偏移，模型就会非常脆弱。
深度展开（Deep Unrolling）的思路是把迭代优化算法的每一步展开成网络的一层，网络学会每一步里需要调节的参数。比如把稀疏编码的ISTA算法展开成LISTA，把ADMM迭代展开成ADMM-Net。这样网络结构本身内嵌了成像模型，推理时既保留数据驱动能力，又兼顾物理一致性。这类方法在压缩快照成像里特别受欢迎，因为观测模型相对固定，重建质量也明显好于纯黑盒网络。
另一种工程上更直接的物理引导方式，是加一个“前向投影一致性”约束。重建出的高光谱，再通过已知的Φ矩阵投影回RGB，得到的RGB应该和输入尽量一致。这个约束不需要额外标注数据，在弱监督和领域适应场景里非常有用。具体实现时，可以把这个约束作为辅助损失函数，和光谱重建损失一起优化，也可以在推理时对重建结果做后处理修正。
我自己做项目时有一个明显体会：如果设备和训练数据来源一致，纯深度学习方案更快更好；如果要在不同设备之间迁移，物理引导方法的鲁棒性优势就会体现出来。但这也意味着需要精确标定系统矩阵Φ，标定不准的话，约束本身就会带来偏差。所以这几种方法不是替代关系，而是不同条件下的合适选择。
4. 实操指南：一个可在笔记本上跑通的字典重建示例
4.1 数据准备与RGB模拟
理论知识再多，不如亲手跑一遍。这一节我给出一个完整可运行的“字典+稀疏编码”RGB到高光谱重建示例，整条流程在普通笔记本CPU上几分钟内就能完成。
假设已经有一个高光谱数据集，其中训练集的高光谱反射率存在 train_hsi.npy 里，形状是 (N, L)，N是像素数，L是波段数；同时有对应的测试集。为了模拟RGB观测，需要先准备系统矩阵Φ，它包含了光源光谱和三个通道的光谱响应。如果暂时没有实测的响应曲线，可以做一个简化的假设：把可见光范围400-700nm均匀划分为L个波段，每个通道的光谱响应用高斯曲线近似，三个通道的中心波长分别设在450nm、550nm、600nm左右，半高宽设在60-100nm之间。这样得到的Φ虽然是粗糙的，但足以演示整个流程。
然后生成训练数据的RGB响应：
python复制import numpy as np
# train_hsi: (N, L) 反射率 0~1
# Phi: (3, L) 系统矩阵，可以把光源功率谱乘进每一行
train_rgb = train_hsi @ Phi.T # (N, 3)
这里得到的RGB是原始线性值，没有做sRGB伽马编码。实际处理时要特别注意：如果用的是相机拍出来的sRGB JPEG图像做输入，必须先把图像线性化、白平衡校正，并统一颜色空间，否则重建质量会非常受影响。
4.2 基于聚类的稀疏字典构建与OMP重建
核心思路分三步：先对训练RGB做聚类，把颜色空间分成多个局部区域；在每一个聚类区域里，用该区域的高光谱样本训练一个小型字典；推理时，对测试像素的RGB，找到它所属的聚类，在该聚类对应的投影字典上做OMP稀疏编码，再把稀疏系数映射回高光谱字典原子。
这里的“投影字典”很关键。对每个高光谱字典原子，都可以用 Φ 计算出它对应的RGB响应，所有原子的RGB响应按行排列就构成了投影字典。OMP在投影字典上求解稀疏系数，因为观测y是RGB向量；系数找到后，再用高光谱字典原子组合得到重建光谱。
代码骨架如下：
python复制from sklearn.cluster import KMeans
from sklearn.decomposition import DictionaryLearning
from sklearn.linear_model import OrthogonalMatchingPursuit
n_clusters = 16
n_atoms = 64
n_nonzero = 8
kmeans = KMeans(n_clusters=n_clusters, random_state=0).fit(train_rgb)
dicts_hsi = []
dicts_rgb = []
for c in range(n_clusters):
Xc = train_hsi[kmeans.labels_ == c]
if len(Xc) < n_atoms:
n_use = max(1, len(Xc) // 2)
else:
n_use = n_atoms
dl = DictionaryLearning(
n_components=n_use,
alpha=1.0,
max_iter=50,
transform_algorithm='lasso_lars'
)
dl.fit(Xc)
D_hsi = dl.components_ # (n_use, L) 高光谱字典原子
D_rgb = D_hsi @ Phi.T # (n_use, 3) 对应的RGB投影
dicts_hsi.append(D_hsi)
dicts_rgb.append(D_rgb)
def reconstruct_pixel(rgb_pixel):
c = kmeans.predict(rgb_pixel.reshape(1, -1))[0]
D_rgb = dicts_rgb[c]
D_hsi = dicts_hsi[c]
omp = OrthogonalMatchingPursuit(n_nonzero_coefs=n_nonzero)
omp.fit(D_rgb, rgb_pixel)
coef = omp.coef_
return coef @ D_hsi # (L,) 重建光谱
这个流程把每个像素独立重建，速度很快。如果想提升空间一致性，可以先对测试RGB图像做超像素分割，比如用SLIC把图像分成几百个超像素，然后用每个超像素内部的平均RGB去匹配FP聚类，整个超像素共享同一组字典和稀疏系数。这样做既能抑制逐像素噪声，也能明显改善重建图像的空间平滑度，代价是超像素边缘可能出现轻微方块感。
4.3 重建效果的评价指标与结果解读
重建完成后，不能只看“像不像”，要量化评估。光谱重建最常用的指标有三个。
RMSE（均方根误差）衡量整体数值偏差，公式是：
[ RMSE = \sqrt{ \frac{1}{L} \sum_{i=1}^{L} ( \hat{x}_i - x_i )^2 } ]
SAM（光谱角误差）衡量光谱形状的差异，把预测和真值都当成L维向量，计算它们之间的夹角。SAM越小说明曲线形状越接近，这个指标对光照强度变化不敏感。
MRAE（平均相对绝对误差）的定义是：
[ MRAE = \frac{1}{L} \sum_{i=1}^{L} \frac{| \hat{x}_i - x_i |}{x_i + \epsilon} ]
其中 ε 是防止除零的小常数。MRAE对暗区域更敏感，能反映出低反射率波段的重建质量。很多高光谱挑战赛直接把MRAE作为主排名指标，就是因为它是光谱分析里非常关心的相对误差。
实操时我的建议是三个指标一起看。RMSE低但SAM高，说明数值接近但光谱形状不对，可能有偏色；SAM低但MRAE高，说明形状对但整体亮度偏差大。如果从测试图像里随机挑几个像素画出重建光谱和真值光谱的对比曲线，比单看指标更容易发现是哪个波段出了问题。这种“指标+曲线+伪彩色图”三件套，也是向甲方展示结果时的标准姿势。
5. 常见问题与排查技巧实录
5.1 换设备/换光源后重建失败
这是我在实际项目中碰到最多的问题。在模拟数据集上训练好的模型，换到另一台相机或另一个光源下，重建结果立即劣化，最常见的表现是整体偏色、光谱曲线整体抬升或下压。
根因几乎都在系统矩阵不匹配。公开数据集里的RGB都是基于特定光源和传感器响应模拟出来的，你的相机SRF、白平衡算法、镜头透过率、光源色温只要和训练条件不一致，观测到的RGB就会系统性偏移。解决思路有两个层面。
第一个层面是数据增强。在训练阶段随机变化光源光谱和系统矩阵，等于让模型见过各种“染色”版本的RGB，这能显著提升跨设备泛化性，实测在最简单的字典方法里也有帮助。第二个层面是设备标定与微调。用色卡或稳定光源在目标设备上采集一小批RGB-高光谱对，对模型做少样本微调，或者先用标定方法估计出实际系统矩阵，再重新模拟训练数据。对深度学习模型，微调一般几十到几百张patch就够了；对字典方法，把新采集的样本加进训练集重新聚类训练字典即可。
5.2 结果偏色、光谱曲线不平滑
重建结果偏色，通常是工作色彩空间不一致造成的。RGB分线性sRGB、伽马编码sRGB、Adobe RGB等好几种，如果训练时用的是线性RGB，测试时喂进去的是伽马编码RGB，模型等于在错误的色彩坐标系里工作。处理方式很直接：在预处理阶段完成线性化和色域转换，让所有RGB都落在同一个颜色空间。另外一个常见原因是白平衡没有统一，同一张图在不同白平衡设置下颜色差异很大，尽量在固定光源、固定白平衡下采集测试数据。
光谱曲线不平滑则分两种情况。一种是曲线高频抖动、噪声感强，这通常是因为模型没有充分约束光谱维度的连续性，可以在损失函数里加一个光谱平滑正则项，或者对重建结果做后处理，比如Savitzky-Golay滤波。另一种是曲线虽然平滑但形态不对，出现明显“鼓包”或“凹陷”，这说明字典原子选择或网络特征提取出了问题，不是滤波能救的，要回到训练数据覆盖度和模型结构上去找原因。
5.3 字典法和深度学习怎么选
很多朋友会纠结这个问题。我的判断标准其实很简单：看数据规模和设备稳定程度。
如果手头只有几千到几万条光谱样本，设备固定不变，对重建速度有要求，字典法完全够用且可控性高，出问题也容易定位。如果训练数据量大、算力充足，目标场景设备相对固定，深度学习能得到更优的精度，尤其适合追求视觉效果和整体误差的场景。如果设备经常换、样本又少，建议优先考虑带物理约束的深度展开或半监督方案，它们比纯黑盒CNN稳得多。
要注意的是，字典法不等于“低精度代名词”。在颜色覆盖范围有限、目标物类别明确的工业分选场景里，一个认真调过的字典系统往往比一个大而全的神经网络更可靠，因为它的重建过程完全可回溯：哪个聚类、哪个原子、多少系数，每一步都能解释清楚，这对需要质量追溯的行业很重要。
最后再分享一个实用小技巧：无论用哪种方法，我都建议在重建流程里保留一份“投影校正分支”——把重建出的高光谱投影回RGB，和输入RGB对比，两者差异如果明显，说明重建结果可能偏离了物理成像约束。这个简单的自检步骤，能在很多场合帮你提前发现设备异常、输入图像格式错误、模型漂移等问题，比单纯看重建指标直观得多。