1. 先想明白一件事:推理调度和训练调度要的不是同一个东西
做 AI 模型推理的人,迟早会撞上一个问题:模型在训练阶段 GPU 利用率能拉得很满,等部署成推理服务,GPU 利用率经常掉到百分之二三十,延迟还会在某些时刻突然抖动到几百毫秒。这不是显卡不行,也不是框架不行,大概率是 GPU 调度策略没有跟着推理场景的特点调整过来。AI 模型推理、GPU 调度策略、优化,这三个词放在一起,本质上要解决的只有一件事:怎么让有限的显存和算力,在“延迟达标”和“吞吐最大”之间找到那个平衡点。
很多人把训练时的习惯直接搬到推理上,这是第一个坑。训练任务是长跑,一个 batch 跑多久无所谓,关键是总吞吐量高不高;推理任务是短跑,单个请求的响应速度直接决定用户体验,但服务又要面对大量并发请求,不能一次只服务一个人。这两种诉求是矛盾的。你为了让延迟更低,把 batch size 调小,GPU 算力闲置;为了让 GPU 用满,把 batch 攒得很大,又有一堆请求卡在队列里。调度策略就是在这种矛盾里做取舍。
1.1 训练看吞吐,推理看延迟和稳定
训练阶段,GPU 调度关心的是“算得满不满”。数据加载、梯度同步、kernel 执行,全都在为高吞吐服务。推理阶段不一样,多了一个硬指标叫 SLO(Service Level Objective),常见形式是“P99 延迟不超过 200ms”。同时,推理服务面临的是真实用户请求,请求到达时间完全是随机的,有的高峰期每秒几百个请求,空闲时可能十秒才来一个。GPU 调度策略要保证在流量波动的情况下,既不让延迟破口,也不让 GPU 闲着。
这里有个反直觉的地方:推理时 GPU 利用率低,有时恰恰是“正常的”。因为一个请求从进入到返回,CPU 侧要做 tokenize、采样、调度决策、网络传输,GPU 真正执行模型推理的时间只是其中一部分。你盯着 nvidia-smi 看到利用率低,先别急着怀疑调度,得先把数据准备、CPU 侧的逻辑也要纳入排查范围。我之前优化一个部署在单卡上的 7B 模型服务,把 batch 策略调完之后,nvidia-smi 显示利用率从 35% 提高到 78%,但 P99 延迟反而恶化了,原因就是 CPU 侧的前处理线程成了瓶颈。这个后面展开说。
1.2 推理请求的三个特征:短、变、随时来
推理负载有几个特点,决定了调度策略的设计方向。
第一是请求长度不均匀。同样一个对话模型,有的请求只生成 20 个 token,有的要生成 800 个 token。如果每个请求当成一个独立任务调度,短的很快结束,长的一直占着 GPU,整个服务就会被拖慢。第二是并发量波动大。线上流量有高峰和低谷,调度策略必须能自适应,不能拍脑袋定一个固定 batch size 就不管了。第三是请求之间有优先级差异。比如交互式对话和高并发的离线批处理任务,如果可以放在同一套 GPU 上,交互式请求应该被优先调度,离线任务让出部分资源。
这三个特征,决定了推理调度不能像训练那样“把一批数据喂进去,等全部完成再喂下一批”。它需要更细粒度的调度,细到什么程度?后面讲连续批处理的时候会说到。
1.3 调度策略的三个作用层级
做 GPU 调度优化之前,先得知道自己优化的到底是哪一层,不然会被各种概念绕晕。
- 设备级调度:指 GPU 内部如何分配 SM(流式多处理器)、显存带宽、KV Cache 等资源。通常由 CUDA 运行时、推理框架的计算图执行器、以及底层 kernel 来控制。
- 框架级调度:指推理引擎(比如 vLLM、Triton、TGI)如何决定哪些请求进入当前 batch、以什么顺序执行、什么时候抢占或终止。
- 集群级调度:指 Kubernetes、Slurm 这类资源管理系统如何把 GPU 卡分配给不同服务、不同租户,涉及 GPU 共享、隔离、节点选择等策略。
大部分人对“GPU 调度”的第一反应是集群级,但实际工作中先把框架级调度调明白,收益来得最快。因为很多场景里 GPU 卡本来就是独占的,瓶颈根本不在分配,而在卡内请求的组织方式。当然,当你手上的卡多了,设备和集群级的策略又开始变得重要。这篇文章会按这个顺序一层层讲下去。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 批处理策略演进:静态批处理、动态批处理到连续批处理
GPU 推理天生适合批处理,因为矩阵乘法这类计算,批量越大,单位 token 的算力成本越低。但批处理怎么做,不同时代有不同做法,现在各家推理框架主推的“连续批处理”,也不是凭空冒出来的,它是从早期静态批处理一步步演进过来的。理解这条演进脉络,才能明白为什么 vLLM、TensorRT-LLM 这类框架要在调度上做那么多看起来“绕”的设计。
2.1 静态批处理:简单但把延迟全丢了
最早期的推理部署,逻辑很简单:客户端送来的请求攒成固定大小的 batch,比如 batch size = 8,攒满 8 个请求就一起跑,跑完再攒下一批。这种方案的问题非常明显。第一个问题是延迟不稳定:如果流量稀疏,攒 8 个请求可能要等几百毫秒,多出来的等待时间全算在用户头上。第二个问题是“木桶效应”:一个 batch 里只要有 1 个长请求,其他 7 个短请求都得等它跑完才能返回,GPU 明明已经算完了短任务,却不能把结果先交出去。
静态批处理在离线批量推理场景还能用,比如你有一万条数据要批量生成摘要,不关心单条延迟。但只要是面向真实用户的在线服务,这套方案基本可以直接否定。我当时做第一版对话服务的时候图省事用的就是静态批处理,上线之后被测试的同学反馈“偶尔一句话要转好几秒”,其实就是 batch 里混进了长文本生成请求,把整组请求都拖住了。
2.2 动态批处理:攒一批走一批
为了缓解静态批处理的等待问题,主流推理框架最早引入的是动态批处理(dynamic batching)。思路也很直白:设置一个最大等待时间,比如 30ms,在这 30ms 内到达的请求都放进当前 batch,时间到了不管攒没攒满,立即
