跑一个AI模型推理服务,在今天已经不算什么门槛了。你装个PyTorch、拉个模型权重、起个FastAPI,一个能响应的接口就有了。但真到了生产环境,事情远没那么简单:GPU利用率上不去、多个模型抢显存互相OOM、半夜某个推理进程把显存吃满导致其他服务全挂、Windows上用Ollama加载模型怎么都调不起GPU……这些问题,本质上都是同一个——GPU资源调度没做好。
这篇就专门聊聊AI模型推理场景下的GPU资源调度。不是那种大而全的“Kubernetes从入门到精通”,而是我实际部署推理服务过程中真正踩过、填过、反复验证过的那些关于显存、算力、并发分配的经验。适合正在做模型服务化、算法工程化,或者自己租了GPU服务器跑模型但总觉得“哪里不对”的工程师参考。看完你会理解推理场景为什么比训练场景更吃调度,单机和集群分别怎么调度,以及那些“莫名其妙”的GPU问题到底是怎么排查出来的。
1. 为什么推理场景的GPU资源调度是个“真痛点”
1.1 训练和推理的资源使用逻辑完全相反
绝大多数人接触GPU是从训练开始的,训练场景下的资源使用逻辑其实特别简单:一个任务占一张卡,占了就独占,跑完就释放。你很少需要操心“谁跟谁共享这张卡”,因为深度学习框架默认就会把整张卡的显存都分配掉。
但推理完全不同。推理服务要常驻运行,一张A10或者4090上往往要同时塞好几个模型,每个模型的流量还会随时间波动——白天OCR模型被打爆,晚上可能换成一个推荐模型在扛高峰。如果按照训练的思路给每个模型独占一张卡,成本直接起飞;如果让大家挤在一起,又面临“谁把谁挤掉了”的调度问题。
而且推理请求是短任务、高并发、强实时的负载形态。训练可以容忍一个batch卡住但不报错,推理卡几秒钟用户就直接超时重试了。调度不好,GPU利用率看着挺高,但实际有效吞吐可能惨不忍睹。
1.2 推理负载的多样性让调度变成多目标优化
我在实际项目里经常遇到三类推理负载混在一组GPU上的情况:
- 小模型高频推理:比如文本分类、意图识别,单请求只需几毫秒GPU时间,但QPS可能上万。显存占用不大,瓶颈在算力和CPU到GPU的拷贝通道。
- 大模型低并发推理:比如7B、13B的LLM对话,显存大头全被权重占掉,同时并发数不高,每个请求都要做完整的prefill和解码循环。
- 批处理型推理:比如视频抽帧做检测,每秒处理几十上百张图,吞吐优先,延迟要求不严格。
这三种负载如果混在一起,简单按“显存大小”切分必然出问题。大模型虽然显存占用大,但实际算力利用率可能很低;小模型虽然显存占用小,却可能把整张卡的并行吞吐打满。经典的调度维度不能只看显存,得把显存占用、算力需求、延迟敏感度、峰值时段一起考虑,这已经不是一个简单的“谁大谁先分配”问题了。
1.3 调度做不好会带来哪些实际损失
说几个我真实见过的现象,你可以对照自己团队是否存在:
- 一张80GB显存的A100上跑了4个模型,看起来每个模型都分到了20GB,但训练类任务经常要“临时借显存”,结果在晚上高峰直接OOM,把4个推理服务一次性全带走。这种连锁事故比单个模型挂了更可怕。
- GPU利用率用
nvidia-smi看才15%,但已经有两个模型在报显存不足。原因是框架的显存预分配策略和实际请求量严重不匹配,资源虚占。 - 多机多卡集群上,模型调度全靠手工指定GPU编号,加一个模型就要改所有下游配置,上线一套服务折腾一个下午。
说白了,推理场景的GPU调度决定的不只是“能不能跑”,而是“同样的硬件能扛多少流量、稳定性有多高”。后面我会按单机到集群、从底层到框架把每个环节怎么调、为什么这么调讲透。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 理解GPU调度的三个核心维度:显存、算力、并发隔离
调度GPU之前先得弄清楚你到底在调度什么。很多人一上来就盯着显存,其实涉及到的资源至少有三个维度,任何一个没处理好都会出事。
2.1 显存:推理的硬约束
先说显存。模型能不能跑起来,第一道门槛就是显存。一个模型推理需要多少显存,可以按这个粗略公式估算:
code复制显存 ≈ 模型权重大小 × 1.2 + 激活值/KV Cache + 框架运行时开销
以目前最常部署的7B参数模型为例:
- 模型权重:FP16精度下,7B参数 ≈ 7 × 10^9 × 2字节 ≈ 14GB
- KV Cache:根据并发数和序列长度动态变化,8K上下文、同时处理几十个请求的话,约需 2~8GB
- CUDA上下文和运行时:通常占 0.5~1.5GB
也就是说,一个7B模型想推理跑起来,最低需要16GB左右显存,想跑得舒服、并发不拉胯,24GB比较保险。这个估算方法适用于你选显卡、租GPU、规划模型共存方案时的初步判断。
但显存的大小只是静态维度,真正麻烦的是显存的动态变化。PyTorch、TensorFlow这类框架默认是“按需分配、只增不减”的,进程启动就吃几GB上下文,推理过程中需要多少再申请多少,而且用完不还给系统,留在自己的缓存池里。后果就是:从nvidia-smi看显存一直满着,但实际空闲一大块。这个特性在下文排查OOM时会进一步展开。
2.2 算力:别让GPU利用率骗了你
nvidia-smi里的“GPU-Util”百分比,很多人把它等同于“GPU忙不忙”,其实它只代表采样时刻有CUDA核在执行计算的比例,不是“吞吐打满”的意思。
推理场景经常出现这样的尴尬:显存快满了,GPU利用率却只有20%。原因是推理请求是离散到达的,每
