远程集群配置MMDetection GPU加速环境实战指南

1. 远程集群配MMDetection，真正的门槛在哪儿

1.1 你遇到的场景大概率和我一样

先说我自己的背景：手头有一批目标检测实验要跑，本地显卡显存不够，于是申请了单位的一台远程集群。集群倒是好集群，几十块卡在那里闲着，但问题来了——登录节点上什么都没装，没有Anaconda，没有PyTorch，没有CUDA toolkit，甚至连普通用户权限都受限，想用 sudo apt install 装点东西都是奢望。更麻烦的是，计算资源是通过调度系统分配的，你不能直接跑到某台机器上 nvidia-smi 然后开训，得先把环境配好，再通过作业脚本申请GPU。

这就是这篇文章的由来：把“配置支持GPU加速的MMDetection环境（在远程集群中）”这件事从前到后完整捋一遍。不是照着官方文档抄一遍，而是把我在实际操作中踩过的坑、确认过的版本关系、以及远程场景下那些官方文档没写明白的细节都记录下来。

如果你是下面这几类人，这篇文章应该对你有用：

• 实验室或公司有共享GPU集群，但集群上没有预装深度学习环境，或者预装版本太老；
• 之前只在本地Windows/Linux上装过MMDetection，第一次面对“用户目录装环境 + 作业调度跑训练”这种流程；
• 在集群上装了好几次MMDetection，总是卡在版本匹配、编译失败、任务提交后找不到GPU这类问题上。

目标只有一个：让MMDetection在集群上真正用上GPU，而且是可复现的、不会哪天莫名其妙挂掉的配置方案。

1.2 集群环境和本地开发机的“性情”完全不同

很多人把本地那套配置经验直接搬到集群上，结果一上来就碰壁。原因很简单，远程集群有几个本地遇不到的约束条件。

第一，权限约束。你不是root，系统级目录动不了。驱动、CUDA toolkit这些系统组件要么由管理员装好，要么你只能在用户目录里装用户态的版本。MMDetection本身不依赖系统CUDA toolkit，它依赖的是PyTorch自带的CUDA运行时库，这意味着大部分情况下你不需要去碰那个 /usr/local/cuda。

第二，网络约束。集群的登录节点往往在大内网后面，访问外网限速或者要用特定镜像源。如果直接 pip install，可能慢得让人怀疑人生，这时就要提前配好pip镜像源或conda镜像源。

第三，资源调度约束。远程集群上的GPU不是“登录后直接就能用”的。很多集群的登录节点压根没有GPU，即便有，在登录节点上直接跑训练也是违反使用规定的。你要通过SLURM、PBS之类的调度系统申请GPU资源，然后作业在计算节点上执行。这带来一个关键问题：环境变量、conda路径、依赖库在登录节点和计算节点之间是否一致，直接决定作业能不能正常启动。

第四，多用户共享。集群不是你家电脑，~/.cache、/tmp 这些目录可能被清理，不同用户的Python环境也可能互相干扰。所以强烈建议用conda或venv做完全隔离，并且把环境装在用户目录下，避免污染系统路径。

记住这四条，后面所有配置步骤都是围绕它们展开的。如果忽视这些约束，配置过程就会变成一场灾难。

2. 动手前先读懂GPU状态和版本匹配关系

2.1 nvidia-smi输出到底该怎么看

在远程集群上，第一步永远是搞清楚GPU环境。别急着装包，先执行：

bash复制nvidia-smi

如果提示 command not found，先别慌，可能只是PATH里没有。试着找驱动目录：

bash复制ls /usr/lib/nvidia-*
ls /usr/local | grep -i cuda

如果确实没有驱动，那需要联系集群管理员，告诉他是用于训练卷积神经网络模型，需要GPU驱动和CUDA运行时支持。普通用户权限下不要自己装驱动，很容易把集群搞坏，也大概率没权限操作内核模块。

如果能正常执行，nvidia-smi 上半部分是显卡列表，下半部分有一个很重要的字段叫“CUDA Version”。注意，这个值不是系统里装的CUDA toolkit版本，而是当前驱动能支持的最高CUDA版本。比如驱动版本为525.x，对应的CUDA Version可能显示12.0，意味着这个驱动可以兼容CUDA 12.0及以下的所有运行时。

再执行一条命令：

bash复制nvcc --version

如果也输出正常，说明系统里有完整CUDA toolkit。如果提示没有这个命令，那也没关系——我们后面用PyTorch自带的CUDA运行时就行了。我遇到过不少新手在这儿卡住，装个PyTorch非得先找他装CUDA toolkit，其实完全不是一回事。PyTorch官方发布的CUDA加速wheel包已经把CUDA运行时库打包进去了，你只需要确保驱动版本足够新即可。

下面这张表是我整理的驱动兼容关系，配置前对照一下：