猴子哈哈1. 为什么需要InfiniBand网络？
如果你曾经搭建过GPU集群，肯定遇到过这样的问题：当数据量变大时，网络传输速度跟不上GPU的计算速度，整个系统就像被卡住了脖子。我最早做深度学习训练时，用千兆以太网连接8块GPU，结果发现GPU利用率还不到30%。后来换成InfiniBand，训练速度直接提升了5倍。
这种性能飞跃的秘密在于**RDMA（远程直接内存访问）**技术。传统网络通信需要CPU参与数据搬运，就像你要从北京寄快递到上海，每次都要亲自打包、填单、送货。而RDMA相当于直接把对方家的钥匙给你，你可以直接开门放东西。实测下来，200Gbps的InfiniBand网络延迟可以低到0.7微秒，比普通以太网快了100倍。
目前支持RDMA的三大协议中，InfiniBand是性能最彻底的解决方案。它不像RoCEv2需要兼容以太网，也不像iWARP受限于TCP协议栈。我在实际项目里对比过，同样的HDR200网卡，InfiniBand模式比以太网模式吞吐量高出15%，CPU占用率却只有后者的三分之一。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. InfiniBand的硬件生态解析
2.1 交换机：从Quantum到Quantum-2的进化
NVIDIA的Quantum系列交换机是构建IB网络的核心。去年我们实验室升级时，我亲自部署过QM8790和QM9700两款机型。老款的Quantum交换机用40个200G端口，已经能支持800台GPU服务器全互联。而新的Quantum-2更夸张——32个OSFP物理接口可以拆分成128个200G端口，单芯片交换容量达到15.1Tbps。
这里有个实际选型经验分享：如果预算充足，强烈建议直接上NDR400的QM9700。虽然价格比HDR交换机贵30%，但它的7nm芯片功耗反而更低。我们做过测试，在同等负载下，QM9700的能效比比上一代高出40%。特别是跑LLM训练时，交换机不会成为性能瓶颈。
2.2 网卡选择：ConnectX-7的四大绝技
现在主流的InfiniBand网卡是ConnectX-6和ConnectX-7系列。我建议新项目都选ConnectX-7，不仅因为它的400Gbps带宽，更看重这四个特性：
- GPUDirect RDMA：GPU可以直接访问网卡缓冲区，省去两次内存拷贝。实测ResNet