显存爆掉的瞬间,我盯着屏幕上那行 CUDA out of memory 愣了好几秒。当时正在调一个TCN加Transformer的长序列预测模型,回看窗口拉到了256根K线,单条样本推下去显存就飙得厉害,batch size调到8都站不住。后来我把梯度累积接上,配合混合精度,同样的模型在等效batch 128的配置下稳跑,Loss曲线比之前用单张小batch硬train时平滑得多。这篇就把我在PyTorch里用梯度累积从入门到调优的完整记录写出来,包括原理、可抄的代码、实测提速经验和几个我踩到怀疑人生的坑。
1. 显存不够时,别急着调小batch size:先搞清楚梯度累积为什么有效
1.1 OOM的真正元凶:中间激活值
很多人一遇到显存溢出,第一反应是调小 batch_size。这确实是最快的手段,但它有代价。要理解代价,得先明白显存到底被谁吃掉了。模型参数本身通常不是大头,真正撑爆显存的是前向传播过程中保存下来的中间激活值——每一层卷积或者Transformer里每个attention头计算出来的特征图,都得暂存在显存里,供反向传播时算梯度用。
以Transformer为例,输入序列长度为L,batch为B,隐层维度为d,那么单层注意力的激活值规模正比于 B * L * L * heads。序列越长,这部分占用的显存呈平方级增长。我那个预测模型回看窗口256,稍一加大batch,激活值就把显存吃完了。如果你用nvidia-smi盯着显存看,会发现参数加优化器状态可能只占2~3GB,中间激活却能把剩下10GB全占满。
1.2 缩小batch_size的连锁反应
既然激活值跟batch成正比,那就把batch调小,8不行就4,4不行就2?这样做的直接后果是梯度噪声变大。梯度是多个样本梯度的平均,样本越少,平均值越容易受个别样本影响,训练曲线会抖得厉害。
更麻烦的是BatchNorm这类层。训练阶段BN依赖当前batch内的均值、方差做归一化,batch太小,统计量本身就不稳定,模型甚至会越训越差。我见过有人把batch压到2之后,loss变成一条锯齿线,怎么调学习率都没用,最后根本不是学习率的问题,是batch太小导致训练从根本上不稳定。
1.3 梯度累积的核心思想与适用场景
梯度累积的思路很直白:既然一个batch塞不下,那就把大batch拆成几个小的micro-batch,一个接一个地前向、反向,但是不急着更新参数,而是把每个micro-batch算出来的梯度都累加到参数缓冲区里,攒够几个micro-batch之后,再用这批累积梯度统一更新一次参数。
这样做的效果,相当于你用更少的显存,凑出了一个等效的大batch。假设本来想用batch 32,显存只允许micro-batch 8,那么跑4次前向/反向、累加梯度后再做一次优化器更新,等效batch就是32。
这套思路尤其适合长序列模型、大batch才能稳定收敛的任务,以及单卡显存不够但暂时加不了多卡的情况。工程上它不算多么高深,但用得好不好,差距非常大。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从数学到代码:手写一个可用的梯度累积训练循环
2.1 梯度线性叠加:为什么累积N步等价于batch翻N倍
要理解梯度累积为什么在数学上站得住脚,先回忆一个基本性质:梯度算子是线性的。假设一个大batch由N个样本组成,损失函数是每个样本损失的平均值:
[
L_{total} = \frac{1}{N}\sum_{i=1}^{N} L_i
]
它的梯度就是:
[
\nabla L_{total} = \frac{1}{N}\sum_{i=1}^{N} \nabla L_i
]
如果把这N个样本拆成K个micro-batch,每个micro-batch包含m个样本(N = K × m),先算每个micro-batch的平均损失,关键一步是把这个loss除以K,那么第一个micro-batch的梯度是:
[
g_1 = \frac{1}{m}\sum_{j=1}^{m} \nabla L_j / K
]
把K个micro-batch的梯度都累加起来:
[
\sum_{t=1}^{K} \frac{1}{K} \cdot \frac{1}{m}\sum_{j \in batch_t} \nabla L_j = \frac{1}{Km}\sum_{i=1}^{N} \nabla L_i
]
恰好等于大batch的梯度。这就是为什么需要 loss / accumulation_steps:不除的话,等效的学习率会被放大K倍,收敛很可能直接发散。
