光谱预处理核心方法与实战技巧详解

1. 光谱预处理：从原始数据到可靠模型的必经之路

做光谱分析的朋友都知道，原始光谱数据就像未经打磨的玉石——表面粗糙、杂质遍布。噪声干扰、基线漂移、散射效应等问题让直接建模变得困难重重。我处理过数百批高光谱和近红外数据，可以负责任地说：预处理的质量直接决定了模型的上限。

光谱预处理的核心目标有三个：消除噪声干扰、减少非目标因素影响、增强有效信息。这就像给照片做后期处理，不是要改变本质内容，而是让关键特征更突出。下面这些方法都是我多年实战验证过的"组合拳"，能解决90%以上的常见问题。

2. 光谱预处理方法详解

2.1 标准正态变量变换(SNV)：基线漂移的克星

SNV是我最常用的预处理方法之一，专门对付基线漂移这个"老顽固"。它的原理是对每条光谱单独进行中心化和缩放，相当于把不同样本的光谱拉到同一个基准线上。

python复制def snv(X):
    """
    标准正态变量变换
    输入: (n_samples, n_features)的二维数组
    输出: 每行数据做过SNV处理的结果
    """
    X_snv = np.zeros_like(X)
    for i in range(X.shape[0]):
        mean = np.mean(X[i, :])
        std = np.std(X[i, :])
        X_snv[i, :] = (X[i, :] - mean) / (std + 1e-6)  # 防止除零
    return X_snv

注意：那个1e-6的小量不是随便加的。我遇到过某些均匀样本的光谱标准差接近零的情况，导致计算溢出。这个保险栓在保持精度的同时避免了数值问题。

SNV处理后，不同样本的光谱强度范围会趋于一致，特别适合以下场景：

• 固体颗粒大小不一导致的散射差异
• 液体样品的光程长度不一致
• 仪器响应漂移带来的系统误差

2.2 Savitzky-Golay平滑：噪声过滤的艺术

SG平滑是我心目中的"光谱美颜滤镜"。它通过在局部窗口内拟合多项式来保留信号特征的同时抑制噪声，比简单移动平均更能保持峰形。

python复制from scipy.signal import savgol_filter