不想不见做高光谱的人，基本都绕不开“光谱重建”这个坎。很多初学者第一次听到这个词，以为是什么高深的硬件黑科技，实际上它就是一句话：从有限的信息里，把完整的光谱曲线给“算”回来。我在前面几篇里讲过推扫式、快照式这些硬件怎么采集数据，但从原始信号到能用于分析的光谱立方体，中间这步处理往往才是决定实验成败的关键。这篇就来聊聊光谱重建（Spectral Reconstruction）是什么、主流做法有哪几条路线、实操时有哪些坑，以及我踩过的一些教训。
先说个场景，你可能立刻就有感觉了。
假设你手上只有一张普通RGB相机拍的照片，红绿蓝三个通道。现在有人告诉你，这张照片其实藏着每个像素点从400nm到1000nm连续的光谱信息，你信不信？直觉上这不可能，三个数怎么可能还原出一百多个波段。但光谱重建做的就是这件事，在病态逆问题里找出最合理的那组解。这件事在遥感、医学影像、工业分选、文物保护等领域都有刚性需求，比如你从卫星图上想反演水体成分，或者从内窥镜图像里判断组织血氧含量，总不能每次都背着推扫式成像仪去现场。
这篇文章，我会从问题定义、传统优化路线、深度学习路线，以及实际工程落地这四个层面展开，尽量用大白话讲清楚。无论你是刚入门的学生，还是已经跑过几个模型的工程师，应该都能找到对自己有用的部分。
1. 光谱重建到底在解决什么问题
1.1 从“降质”到“复原”：一个逆问题
光谱重建本质上是一个逆问题。正向过程很简单：当一束光进入相机，经过镜头、滤光片、传感器响应，最后落在像素上，形成的是一个积分结果。每个通道的响应值，等于光谱曲线和传感器光谱响应函数（Spectral Response Function）在波段范围内的乘积积分。用公式表达就是：
g_k = ∫ S(λ) · R_k(λ) dλ
其中S(λ)是入射光的光谱辐亮度，R_k(λ)是第k个通道的响应函数，g_k就是你看到的像素值。RGB相机的k就是3，多光谱相机可能是5、8、16，高光谱相机可能是几百个波段。
重建要做的事情，就是把这个正向过程反过来：已知g_k和R_k(λ)，去求解S(λ)。问题是，你看到的测量值（比如3个）远少于你要还原的未知数（比如128个波段），方程个数不够，解不唯一。这就是典型的病态（ill-posed）逆问题。
1.2 高光谱重建的三种典型场景
在实际工程里，光谱重建不只是一个算法问题，它往往绑定了具体的硬件形态和数据获取方式。我梳理了一下，大致分三类场景：
-
从RGB图像重建高光谱：这是最“出圈”的场景，也是NTIRE等国际竞赛推动最多的方向。输入一张普通彩色照片，输出几十上百个波段的数据立方体。听起来神奇，但本质上依赖的是场景中物体光谱和颜色之间的统计相关性。
-
从多光谱图像重建高光谱：输入通道更多（比如8通道、16通道），病态程度降低，重建质量自然好很多。这在卫星遥感里特别常见，比如Sentinel-2的13个波段，就可以通过融合算法重建出更密的光谱采样。
-
从编码快照式系统重建高光谱：这是硬件端在做“压缩”，也就是CASSI（Coded Aperture Snapshot Spectral Imaging）这类系统。单次曝光把三维立方体投影到二维传感器上，后期用算法从二维投影里恢复三维信息。这里的重建，复杂度又高了一个量级。
不管是哪一类，核心的数学框架都是相通的，区别在于已知的信息量多少、先验怎么设计、以及计算实时性的要求。
1.3 为什么需要“重建”而不是“直接测”
有一次我给一个非本行的朋友解释，他问了一句很直接的话：你们为什么非得用RGB去猜光谱？直接拿高光谱相机拍不就完了吗。
这个问题其实问到点子上了。高光谱相机贵、重、慢，这三点在不少场景里是致命的。一台工业级的推扫式高光谱相机，价格动辄几十万，对振动和环境光极其敏感，而且必须配合扫描平台使用。在无人机遥感、内窥诊断、手机摄影这些场景里，根本没有条件背一台这样的设备。另外，很多场景是动态的，推扫式相机必须逐行扫描，等扫完一圈，目标早变了而快照式相机虽然能一次成像，但空间分辨率有限。
所以更现实的做法是：用低成本、高成熟度的RGB或普通多光谱相机采集信息，再用算法把光谱“算”出来。这也是光谱重建能够成为研究热点的根本原因——它解决了硬件成本和数据采集效率之间的矛盾。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 传统路线：先验模型与优化求解
2.1 稀疏表示与字典学习
在深度学习大规模应用之前，光谱重建的主流方法是基于稀疏表示。核心思想是：自然场景的光谱曲线虽然看起来千变万化，但共享的“基元”并不多。你可以理解为，世界上虽然有无数种颜色，但用来调制这些颜色的基础颜料就那么几十种。
具体做法是：先从大量高光谱训练数据中学习一个字典D，字典里的每一列就是一个光谱基元。任何一条光谱曲线都可以表示为字典中若干基元的线性组合，而且组合系数是稀疏的，即大部分系数为0。这样，重建问题就变成了：先估计稀疏系数，再通过系数乘以字典恢复光谱。
实际操作中，这一步优化通常用交替方向乘子法（ADMM）或者迭代收缩阈值算法（ISTA）求解。稀疏约束的正则项会让解偏向“简单”的方向，从而抑制病态问题带来的噪声放大。这个思路后来也被延续到了深度学习里，比如把稀疏编码展开成网络的ISTA-Net系列，就是很典型的代表。
2.2 全局结构与局部平滑先验
除了稀疏性，光谱立方体本身还有很多结构特征可以被利用。空间上，相邻像素之间的光谱通常不会突变；光谱维度上，相邻波段的响应值也是连续的、平滑的。这些先验都可以作为正则项加入到目标函数里。
全变分（Total Variation，TV）正则化就是处理这类平滑先验的经典工具。它在图像去噪、超分辨里被广泛使用，搬到光谱重建上也同样有效。它的本质是约束重建结果在梯度域上的稀疏性，既能去除噪声，又能保留边缘。光谱维度上也可以做TV约束，保证相邻波段之间不会出现剧烈的锯齿状跳变。
此外，还有低秩先验。高光谱立方体可以看作一个二维空间×一维光谱的矩阵，而这个矩阵往往具有低秩特性，因为光谱波段之间存在高度相关性。利用低秩约束，本质上是在消冗余，把有信息量的成分保留下来，把噪声和不确定性压缩掉。低秩和稀疏往往结合使用，效果加乘。
2.3 前向模型的精确估计
传统方法里有一个环节特别容易被忽略，但影响非常大——就是前向模型中的响应函数R_k(λ)到底准不准。这个函数如果不准确，那你反向求解时的模型本身就是错的，后面的优化做得再好也是白搭。
我试过拿相机厂商给的标称响应曲线直接做重建，结果颜色还原偏得离谱。后来换成自己做辐射定标，用单色仪扫出实际的响应曲线，重建精度立刻提升了一个档次。这件事给我的教训是：不要把标称值当真值，设备个体差异和温漂都是真实存在的。
对RGB相机而言，响应函数的估计通常需要单色仪或可调谐光源配合标准白板，逐波长记录响应值。对多光谱卫星而言，官方会发布波段响应函数文件，但也要注意传感器老化带来的漂移。前端模型的精度，决定了整个重建算法精度的物理上限，这个瓶颈不是靠算法能突破的。
3. 深度学习方案：从数据中学习先验
3.1 端到端重建的基本框架
深度学习的思路完全不一样。既然人工设计的先验可能不够完备，那就从大量数据里直接学出“什么样的光谱分布是合理的”。模型直接学一个从RGB到高光谱立方体的映射函数F_θ，训练的时候用成对的RGB图像和高光谱图像作为监督信号，不断调整网络参数θ，让预测输出和真实值之间的误差最小化。
端到端方案的优势非常明显：推理速度极快，一次前向传播零点几秒就出结果；而且只要训练数据足够丰富，模型对场景的适应能力远超手工设计先验。你可以把这个过程理解为，网络通过大量样本，隐式地记住了常见物体颜色的光谱分布规律。
目前主流的基础架构基本都是编码器-解码器结构，编码器压缩空间和光谱信息，解码器负责恢复高分辨率的光谱立方体。常见的骨干网络包括U-Net、残差网络（ResNet）、以及基于注意力机制的Transformer结构。后者的优势在于能够建模长距离依赖，捕捉非局部相关性，对光谱重建这种输出维度很高的任务尤其友好。
3.2 网络设计中几个关键模块
我跑过不少光谱重建模型，分享几个对精度影响最明显的设计点。
注意力机制几乎已经是标配了，但具体怎么用很有讲究。通道注意力可以建模光谱波段之间的关系，空间注意力可以聚焦在纹理丰富的区域。对于光谱重建来说，通道维度上的注意力往往比空间注意力更关键，因为波段之间的相关性是重建质量的核心决定因素。把注意力放在光谱维度上，相当于让网络学会了“哪些波段可以被其他波段推出来”。
多尺度特征融合也很重要。高光谱立方体里的特征既有大尺度的区域属性（比如整片草地的光谱），也有小尺度的细节（比如叶脉的边缘）。单尺度特征很容易顾此失彼，多尺度融合模块可以兼顾全局和局部信息。这类设计在超分辨率领域已经很成熟，迁移到光谱重建同样适用。
另一个容易被忽视的模块是上采样方式的选择。直接将低分辨率特征放大到目标分辨率，会导致光谱立方体边缘模糊。我建议使用亚像素卷积或PixelShuffle这类方式，可以在上采样的同时保留更多高频细节，比单纯的双线性插值好得多。
3.3 训练策略与损失函数设计
损失函数的选择直接决定了重建结果的倾向。最基础的方式是逐像素的L1或L2损失，但这类损失容易导致结果过于平滑，光谱细节被“平均”掉。我在实际实验中发现，L1损失虽然比L2保留更多细节，但仍然不够。
常用的改进手段是把损失拆成空间和光谱两部分。空间部分用SSIM或者梯度损失，保证纹理和边缘质量；光谱部分用光谱角距离（Spectral Angle Mapper，SAM），约束方向上的相似性。SAM非常直观，它计算两条光谱曲线之间的夹角，对整体亮度差异不敏感，更关注形状是否吻合。对于光谱重建来说，形状对，强度偏一点，通常比强度对、形状歪掉要好得多。
我在训练时通常把L1、SSIM、SAM三种损失按权重叠加，效果比单用其中任何一种都稳。权重的设置没有万能公式，需要根据数据集的特性调试，一般来说SAM的权重不宜过高，否则容易牺牲空间细节。
4. 实操流程：从数据到结果
4.1 数据准备与处理管线
一次完整的光谱重建实验，数据准备是最耗时也最容易出错的环节。如果你用的是公开数据集，比如NTIRE挑战赛用的ARAD数据集、哈佛大学的Harvard数据集，或者遥感领域的Chikusei数据集，那前期的预处理会省心很多。
但如果你需要自己采集高光谱和RGB图像对，有几个问题必须注意：
- 光谱相机和RGB相机必须同时拍摄同一场景，且角度、光照保持一致，最好的方式是用分光棱镜保证严格对齐。
- 高光谱数据和RGB数据的空间分辨率往往不一致，需要做配准和重采样。
- 曝光时间要分别优化，防止某一通道过曝或欠曝，否则训练样本本身就是脏的。
数据预处理的标准管线包括：暗电流扣除、辐射定标、光谱维度的归一化。其中归一化很关键，因为高光谱数据的值域分布跨度极大，如果不做归一化，模型训练时损失会震荡得很厉害。我习惯把所有光谱数据除以整组数据的最大值，统一压到0到1区间。
4.2 模型训练的关键细节
模型选型上，如果你追求快速迭代，可以先从轻量级的CNN结构跑通整个链路，比如一个简单的残差网络配上光谱注意力模块就够用了。等验证了数据没有问题，再逐步升级到更复杂的Transformer架构。
训练参数方面，我的经验值是这样的：优化器用Adam，初始学习率1e-4，配合余弦退火或StepLR调度器；batch size根据显存来调整，一般8到32；训练轮次50到200不等，取决于数据规模。如果训练过程中损失震荡严重，优先检查学习率是否太高，其次是数据是否包含异常值。
还有一个非常容易被忽略的环节：验证集和测试集的划分。光谱重建模型对场景的泛化能力是有限的，如果训练集和测试集来自同一场景的连续帧，那结果会虚高。正确的做法是按场景划分，确保测试场景在训练时完全没出现过，这样才能真实评估模型的实用性。
4.3 评估指标怎么选
光谱重建领域的评估指标，好几个都很有必要了解，但侧重点各有不同。下面这个表格是我自己常用的，分享给大家参考。
| 指标 | 全称 | 关注点 | 适用场景 |
|---|---|---|---|
| MRAE | Mean Relative Absolute Error | 各波段的相对误差均值 | 对低反射率区域敏感 |
| RMSE | Root Mean Square Error | 绝对误差的整体水平 | 通用效果评价 |
| SAM | Spectral Angle Mapper | 光谱形状的相似度 | 光谱信息保真 |
| SSIM | Structural Similarity | 空间结构相似度 | 图像质量感知 |
| PSNR | Peak Signal-to-Noise Ratio | 峰值信噪比 | 通用图像质量 |
如果你关心的是光谱分析任务（比如解混、分类），SAM是最值得关注的指标，因为它直接反映光谱曲线是否可信。如果最终用途是视觉效果（比如颜色还原），那PSNR和SSIM更能反映用户体验。学术论文里通常会报告所有指标，但实际工程中只需要围绕下游任务选择一到两个最相关的指标做优化。
4.4 不同硬件平台的重建差异
在实验室里用公开数据集跑通了模型，不等于换到实际设备上就能直接用。我一直强调一个观点：光谱重建是强硬件相关的，换一台相机，最优模型可能就不一样了。
对RGB相机来说，不同品牌的相机响应函数差异很大。同一个场景，用iPhone拍和用工业相机拍，输入分布完全不同，模型如果只在单一相机数据上训练，跨设备表现大概率会崩。解决办法有两种：一是收集多个设备的图像做数据增强，二是在输入端做响应函数的归一化或模拟。
对快照式光谱成像系统来说，重建算法通常是和编码模板耦合的。模板变了，测量矩阵就变了，重建模型的前向过程也得跟着变。我见过不少团队在仿真数据上效果跑得很好，一上实物就崩，十有八九是前向模型和真实系统不匹配，编码模板的位置偏差、色差、散射效应都没有建模进去。
5. 常见问题与排查技巧实录
5.1 重建结果偏色严重
这个现象我刚开始做的时候频繁遇到，排查思路一般从三个方向入手：
- 检查响应函数是否准确，如果用的是标称值，换成实测值再试一次，往往立刻好转。
- 检查训练数据是否有偏，如果训练集里某种颜色的样本特别多，模型对罕见颜色的还原就会很差，需要做数据均衡或扩充。
- 检查损失函数权重，SSIM或SAM权重过高时，有可能导致颜色的整体偏移。
如果以上三招都试过还不行，那就考虑换模型结构，有些网络架构对色偏问题确实有天然劣势，目前视觉Transformer类结构在颜色还原上的表现通常优于单纯的CNN。
5.2 光谱曲线出现锯齿状振荡
重建出的光谱曲线在相邻波段之间剧烈跳变，看起来像锯齿。这通常意味着模型没有学到光谱维度的平滑性。解决办法有这么几步：
- 在损失函数中加入光谱维度的平滑约束，比如一阶或二阶梯度惩罚。
- 检查数据增强，如果对光谱维度做了随机扰动，可能会破坏平滑性，需要调小扰动幅度。
- 如果用的是传统优化方法，检查TV正则项的权重是否过小，适当增大可以有效抑制振荡。
5.3 模型在测试集上效果很好，实际场景却崩了
这是典型的泛化能力不足。主要原因通常是训练数据多样性不够。公开数据集大多是在受控条件下采集的，光照均匀、物体清晰、光谱范围固定。实际场景的复杂性远超训练集的覆盖面。
缓解手段包括：在训练阶段加入各种数据增强（亮度扰动、噪声注入、模糊模拟、色彩偏移）；对训练数据做更严格的白平衡处理，减少数据集内部的域偏差；用更大规模的多源数据做预训练，再针对目标场景微调。如果条件允许，收集一部分真实场景数据混合训练，效果比纯用公开数据集好得多。
写在后面
我做光谱重建也有几年了，踩过的坑比看过的论文还多。如果说有什么最核心的体会，那就是：不要神化算法，也不要轻视硬件。很多人一上来就追求最先进的模型，却忽略了数据质量和前向模型的准确性，到头来再好的网络也发挥不出来。反过来，我也见过硬件工程师觉得算法只是“锦上添花”，结果系统设计时没有给重建留出足够的余量，后期算法再好也救不回来。
光谱重建是一个非常典型的交叉领域，需要同时理解光学、传感器和算法。单靠任何一方面的知识，都很难做出真正能落地的系统。这也是这个方向最有魅力的地方——你永远需要跨出自己熟悉的领域，去理解另外一半世界是怎么运作的。希望这篇内容能帮你少走一些弯路，也欢迎在实际实验中遇到具体问题的时候再回来翻一翻，找找排查的思路。