1. 分布式训练与torch.distributed.launch基础
当你第一次听说PyTorch分布式训练时,可能会觉得这是个高大上的概念。其实简单来说,分布式训练就是让多台机器或多个GPU一起协作完成模型训练任务。想象一下,如果训练一个大型模型需要10天时间,用4台机器同时训练可能只需要2-3天,这就是分布式的魅力所在。
torch.distributed.launch是PyTorch提供的一个非常实用的工具,它帮我们处理了分布式训练中最麻烦的部分——进程管理和环境变量设置。在实际项目中,我发现很多同学卡在分布式训练的第一步,就是因为不熟悉这个启动工具的参数配置。
先来看个最简单的例子,单机多卡训练:
bash复制python -m torch.distributed.launch --nproc_per_node=4 train.py
这条命令告诉PyTorch:在当前机器上启动4个进程,每个进程使用一张GPU来运行train.py脚本。launch工具会自动为每个进程设置好所需的环境变量,包括RANK、LOCAL_RANK等。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心参数详解与实战配置
2.1 节点相关参数
在分布式训练中,nnodes和node_rank是两个最基础的参数。nnodes指定了参与训练的机器总数,node_rank则是当前机器的编号(从0开始)。
比如我们在两个机器上训练,配置应该是这样的:
bash复制# 机器0(主节点)
python -m torch.distributed.launch --nnodes=2 --node_rank=0 --master_addr="192.168.1.100" --nproc_per_node=4 train.py
# 机器1
python -m torch.distributed.launch --nnodes=2 --node_rank=1 --master_addr="192.168.1.100" --nproc_per_node=4 train.py
这里有个坑我踩过多次:master_addr必须指向主节点的IP,而且所有节点上的master_addr必须一致。有一次训练卡住半小时没反应,最后发现是第二个节点的master_addr写
