多GPU训练大家聊得最多的是"怎么把模型跑起来",但真正跑到大规模并行时,最先拦路的往往是显存分配。前两周我调一个多卡训练任务,8张A800,按理说显存总容量接近640GB,结果跑一个70B模型的LoRA微调,居然频繁OOM,单卡占用就崩了。排查了很久,最后发现不是模型太大,而是显存分配策略出了问题。这种事情在刚接触多GPU环境的朋友那里几乎天天发生,所以这次我就把显存分配这条线从头梳理一遍,从底层机制到实操调优,一次讲透。
这篇文章主要面向两类人:一类是从单卡迁移到多卡训练的算法工程师,另一类是负责训练平台和推理服务部署的运维/平台开发。你会看到多GPU环境下显存的分配方式、并行模式对显存的影响,以及一组可以直接落地执行的优化手段。理解了这些,你就不会再把"显存不够"简单归因于"卡不够多"。
1. 多GPU环境下的显存分配到底在解决什么问题
1.1 多卡并不是"显存翻倍"这么简单
很多人对多GPU训练的第一印象是:一张卡装不下的模型,那就把模型切到多张卡上,合起来的总显存总是够的。这个思路理论上没错,但实际落地时你会发现,多卡环境下的显存分配远远不是"加总"这么简单。原因在于数据并行、模型并行、流水线并行这些并行方式,对显存的消耗模式完全不同。
拿最常见的分布式数据并行(DDP)来说,它会把一个batch的数据切分到每张卡上,每个GPU各持有一份完整的模型参数、梯度、优化器状态。也就是说,如果你一张卡需要20GB显存来放模型相关数据,那8张卡一共需要160GB,而不是20GB。显存总量确实是翻倍了,但单卡需求一点没降。这也是很多人的误区——以为上了多卡,单卡压力就小了,实际上在DDP模式下单卡压力几乎没有变化。
而显存分配策略要解决的核心问题,是让有限显存在训练过程中被合理利用,避免碎片化、避免突发峰值、避免通信等待导致的内存堆积。它决定了你的训练是能稳定跑很久,还是每隔几小时就OOM重启。
1.2 显存分配不只是PyTorch的事
在动手调参前,我们必须建立一个全局视角。一块GPU的显存使用,至少包含几层:
- 驱动层显存管理:CUDA driver会为context、module、CUDA event等分配固定开销,这部分虽然不大,但确确实实存在。
- CUDA runtime缓存:CUDA在底层会缓存一些分配和释放的空间,不会立即归还给操作系统。
- 框架层显存分配器:PyTorch、TensorFlow都有自己的缓存分配器(caching allocator),它会向CUDA申请大块显存,然后内部按需切片分配,避免频繁调用cudaMalloc导致性能下降。
- 模型运行时张量:前向激活值、梯度、参数、优化器状态、临时缓冲区等。
实际排查显存问题时,我们通常看的是PyTorch层面的显存统计,但底层CUDA缓存的占用经常给人"惊喜"。这就是为什么你经常在nvidia-smi里看到进程占用了很多显存,但代码里统计不到对应大小的张量——因为它们被缓存住了,并没有真正释放回驱动层。
多GPU环境下,这个缓存机制还会被NCCL通信库放大。NCCL在初始化时会为每个通信组分配一定量的显存作为buffer,这些buffer平时不参与计算,但会一直占着地方。如果你并行组很多,或者每个rank都建了多个通信组,这些buffer加在一起也能吃掉不少显存。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 硬件拓扑:分配策略必须先看懂的说
2.1 单服务器多GPU卡之间的连接方式
要讲显存分配策略,就绕不开GPU之间的通信拓扑。因为多卡训练中,模型同步、梯度聚合、张量搬运全都依赖GPU间的互联,而互联方式直接决定了通信的带宽和延迟,进而影响你该选择哪种并行模式和显存分配方案。
单服务器多卡最常规的连接方式是PCIe。PCIe的带宽目前主流是PCIe 4.0 x16,单向带宽约32GB/s,双向约64GB/s。听上去不低,但在大模型梯度同步场景下,一个几百MB的梯度张量要广播到8张卡,PCIe会非常吃力。而且PCIe是树状拓扑,不同槽位的GPU之间通信可能要经过CPU或PCIe Switch,延迟和带宽都有明显差异。
更快的方案是NVLink。NVLink是GPU直连的高带宽互联总线,以A100为例,第三代NVLink单条链路带宽是50GB/s,一般有12条链路,总双向带宽达到600GB/s。8卡A100通过NVLink全互联(fully connected)后,任意两张卡之间都能以很高的带宽直接通信,不用经过CPU。这种拓扑下,数据并行通信开销会小很多。
所以你看硬件拓扑,本质上是在搞清楚一个问题:卡与卡之间"说话"快不快。通信越快,你越可以用激进的并行策略;通信越慢,你就越要想办法让数据少跨卡流动,或者在显存分配上预留出通信缓冲的量。
2.2 如何确认你的服务器拓扑
实操层面,上来别急着写代码,先确认机器拓扑。推荐用下面这些命令:
bash复制# 查看NVIDIA驱动和GPU状态
nvidia-smi
# 查看GPU之间的连接拓扑(包括PCIe和NVLink)
nvidia-smi topo -m
# 查看NVLink连接状态
nvidia-smi nvlink -s
`nvidi
