【深度学习】从BN到LN：归一化技术如何塑造模型训练的稳定与高效

1. 为什么我们需要归一化技术？

第一次训练神经网络时，我盯着损失曲线看了整整三小时——它像过山车一样剧烈波动，就是不肯收敛。后来导师走过来看了一眼说："试试加个BN层吧"。结果模型像被施了魔法一样，训练速度直接翻倍。这个经历让我深刻理解了归一化技术的重要性。

在深度学习中，我们常遇到一个叫"内部协变量漂移"（Internal Covariate Shift）的麻烦。简单来说，就是前面网络层的参数更新会改变后面网络层的输入分布。想象你在教小朋友认字，但每次教的字帖字体都不一样（楷书变行书又变草书），孩子肯定学得晕头转向。神经网络也是如此，输入分布不稳定时，它要不断适应新分布，导致训练效率低下。

更糟糕的是，这种分布变化可能导致某些层的输出值落入激活函数的饱和区（比如Sigmoid函数的两端）。这时梯度会变得极小，出现"梯度消失"现象。我在早期用Sigmoid激活函数时，经常发现前几层的梯度几乎为零，参数根本更新不动。归一化技术通过将数据分布调整到合适范围，让梯度保持在活跃区间。

2. BatchNorm：计算机视觉的黄金搭档

2.1 BN的工作原理

BatchNorm（BN）的操作可以概括为"横着切蛋糕"。假设我们有个batch的数据，包含32张图片（batch_size=32），每张图片有256个特征通道。BN会对这32张图片的每个通道分别计算均值和方差。具体来说：

python复制# PyTorch中的BN实现示例
import torch.nn as nn
bn = nn.BatchNorm2d(num_features=256)  # 对256个通道分别做归一化

这个过程的数学表达很简单：

1. 计算batch内每个特征的均值μ和方差σ²
2. 标准化：x̂ = (x - μ)/√(σ² + ε)
3. 缩放和平移：y = γx̂ + β

其中γ和β是可学习参数，ε是个极小值防止除零。我常把这个过程比作做菜时的调味——先标准化食材大小（步骤2），再根据口味调整咸淡（步骤3）。

2.2 BN的实战效果

在图像分类任务中，BN带来的提升令人惊艳。我在ResNet-50上做过对比实验：

BN不仅提升了准确率，还允许使用更大的学习率。这是因为归一化后的数据分布更稳定，就像给优化算法装上了减震器。但要注意，BN依赖于合理的batch size（一般不少于32）。有次我为了节省显存设batch_size=8，结果模型性能直接跌了5个百分点。

3. LayerNorm：自然语言处理的救星

3.1 LN的设计哲学

第一次用Transformer时，我发现里面全是LayerNorm（LN）而不是熟悉的BN。后来才明白，LN是"竖着切蛋糕"——它对单个样本的所有特征做归一化。比如处理文本时，对每个词向量的所有维度计算统计量。

python复制# Transformer中LN的典型用法
class TransformerBlock(nn.Module):
    def __init__(self, d_model):
        super().__init__()
        self.ln1 = nn.LayerNorm(d_model)
        self.ln2 = nn.LayerNorm(d_model)

这种设计特别适合序列数据。想象翻译一句话："我爱人工智能"，BN会对所有句子的第一个字"我"做归一化，这显然不合理。而LN则独立处理每个句子，不受batch内其他样本影响。

3.2 LN在Transformer中的妙用

在BERT的实践中，我发现LN有三个关键优势：

1. 长度无关性：无论文本长短，LN都能稳定处理。有次我输入800个token的长文本，LN依然工作良好。
2. 训练稳定性：即使batch_size=1也能用，这对资源受限的场景特别友好。
3. 前置归一化：现代Transformer常用Pre-LN结构，把LN放在残差连接之前。我实测发现这种结构收敛更快。

不过LN也有个小缺点：在CV任务上通常不如BN效果好。我曾在ViT中对比过：

4. 技术选型指南

4.1 CV vs NLP场景选择

根据我的项目经验，可以这样选择：

计算机视觉首选BN：

• 数据维度规整（固定尺寸图像）
• 通常有充足的batch_size
• 对噪声鲁棒性强
• CNN的平移不变性与BN天然契合

自然语言处理首选LN：

• 处理变长序列数据
• 可能面临小batch情况
• 需要样本间独立性
• 适合自注意力机制的特性

有个有趣的中间案例：视频处理。我做过视频分类实验，当处理长视频时，混合使用BN（空间维度）和LN（时间维度）效果最好。

4.2 实际调参技巧

1. 初始化γ和β：BN的γ通常初始化为1，β为0。但在某些场景下，我试过初始化γ=0.1能更快收敛。
2. 冻结BN统计量：微调预训练模型时，记得设置bn.eval()，否则running_mean会漂移。
3. LN的eps参数：默认1e-5通常够用，但对fp16训练时建议调大到1e-4防止数值溢出。
4. 组合使用：在GAN中，我试过生成器用LN，判别器用BN，效果比统一用好。

有次调试模型时，BN的running_mean没重置，导致验证集指标异常。这个坑让我养成了好习惯：在训练循环开始前调用model.train()和model.eval()明确区分模式。