8卡RTX 5090跑llama.cpp多卡推理：部署实测与避坑指南

上周终于把一套8卡RTX 5090服务器从采购清单搬到了机房机柜，然后花了两天时间把llama.cpp在它上面完整跑通。说实话，折腾完之后最想说的不是“8卡真快”，而是“消费级显卡堆到8张之后，很多单卡场景下根本不会碰到的问题都会冒出来”。这篇就把我这次从装机、部署到实测的全过程写下来，包括那些踩完才明白的坑。

如果你正打算用RTX 5090组一台本地推理服务器，或者手头已经有几张5090想在llama.cpp上做多卡推理，这篇文章应该能帮你省下不少弯路。我不搞厂家那套跑分话术，只说自己实际测到的、看到的和修过的东西。

1. 为什么我用8张RTX 5090搭llama.cpp推理机，而不是直接上H100

1.1 先算一笔账：8张5090到底能塞多大的模型

RTX 5090单卡32GB GDDR7显存，8张加起来256GB。对本地大模型推理来说，显存总量决定了你能跑什么规模的模型。以GGUF量化模型为例，简单估算模型文件大小：

• Q4_K_M量化：每10亿参数大约占0.55~0.65GB
• Q8_0量化：每10亿参数大约占1.0~1.1GB

按这个粗略公式算下来，8卡5090在Q4量化下大约能装300B级别参数的模型。比如Qwen3-235B-A22B这种MoE架构的模型，量化后大约130~140GB，塞进8卡非常宽裕；GLM-4.5这类300B出头的，Q4量化后也差不多到190GB上下，勉强也放得下。要是只跑70B量级的中型模型，Q8甚至FP16都能轻松放进一张卡里，剩下的卡还能同时服务多个任务。

这也是我用8卡5090当推理服务器的核心理由：不追求单模型极限，而是追求“大模型能本地跑、小模型能并行服务”的灵活性。

1.2 和H100/A100方案比，真实差距在哪里

很多人一听到8卡服务器就默认是A100/H100那种企业级平台。事实上RTX 5090和H100在推理场景的定位完全不同，用下来我的感受是：

从显存带宽看，5090单卡约1.79TB/s，H100 SXM约3.35TB/s，H100单卡带宽是5090的接近两倍。但8张5090的聚合带宽约14.3TB/s，这对llama.cpp这类以显存带宽为主要瓶颈的推理负载来说，已经相当可观。当然，这只是纸面聚合值，实际能不能吃到这个带宽，取决于拆分模式和PCIe拓扑，这部分后面细说。

从互联看，这是5090最明显的短板。RTX 50系列消费卡出厂不带NVLink，8张卡之间只能走PCIe。而H100有NVLink和NVSwitch，张量并行时的通信开销完全不是一个量级。这直接决定了llama.cpp里你不能照搬H100那套“无脑张量并行”的玩法，得根据PCIe拓扑选择合理的拆分模式。

从成本和门槛看，8张5090的整机成本大概只有同规模H100整机的几十分之一，而且驱动、llama.cpp这些工具链对消费卡的支持反而更活跃。对个人开发者和中小团队来说，这可能是当前性价比最高的本地多卡推理方案。

注意：5090单卡TDP 575W，8张就是4600W，再加CPU、主板、风扇，整机峰值接近6000W。这不是普通家用插座能扛的，后面供电部分我会单独说。

2. 硬件装机与系统环境准备：别让显卡死在第一周

2.1 供电是8卡服务器最容易翻车的环节

先说结论：8卡5090整机必须上专业供电方案，别指望一两块普通电源并联就糊弄过去。

我这次装机时把供电放在第一位，因为8张卡同时跑满负载时，瞬时功耗远高于标称TDP。8张575W的卡，如果做张量并行或者同时推理，瞬时抽载经常冲到5000W以上。我之前见过有人用两台1600W消费级电源并联带8卡，结果一跑并行任务空开直接跳。

实际建议：

• 电源选择：有条件直接上机架式CRPS冗余电源，单台2000W以上，配两路输入。我用的是两台2400W CRPS电源冗余供电，整机功耗余量大约30%左右。
• 电路要求：8卡满载接近6000W，220V 16A单路是扛不住的（220V 16A最大约3500W）。我这边是单独拉了380V三相电，再分配到三个PDU上。如果没有三相电条件，至少也要走两个独立220V回路，每路一个空气开关，千万别把所有负载压在一个回路上。
• 分批上电：这是个非常实用的经验。8张卡同时启动，瞬时浪涌电流可能比满载还夸张。我写了个启动脚本，逐卡设置功耗墙并依次初始化：

bash复制#!/bin/bash
GPU_IDS=(0 1 2 3 4 5 6 7)
for id in "${GPU_IDS[@]}"; do
    nvidia-smi -i $id -pm 1
    nvidia-smi -i $id -pl 500
    sleep 2
done

先锁定功耗墙再跑负载，能有效避免电源过流保护误触发。

2.2 PCIe拓扑、CPU通道数和NUMA规划

8张5090的第二个硬门槛是PCIe通道。一张卡如果只插在PCIe x8甚至x4上，llama.cpp的多卡通信会非常难看。