我最近在做AI模型推理服务的并发改造时,被一次多线程性能测试狠狠上了一课:把同一套ONNX模型的推理任务从单线程改成32个线程并发,QPS不升反降,P99延迟却涨了两倍还多。后来把线程数、批处理、推理引擎内部线程配置、JMeter压测和系统监控数据串起来复盘,才看清问题根本不在“线程开得够不够多”,而在于没搞明白AI推理的工作负载到底吃的是什么资源。这篇文章就把整条链路从头到尾梳理一遍,适合正在做AI应用落地或平台性能测试的工程师参考,哪怕你之前没碰过多线程压测,跟着这套思路也能少走很多弯路。
1. 为什么AI推理在多线程下会翻车:先把瓶颈模型理清
1.1 CPU推理场景:线程、核心与GIL的真实边界
先明确一件事:AI推理任务不是普通Web接口那种以IO为主的轻计算。一次推理会触发大量矩阵乘法、张量拷贝和内存访问,属于典型的CPU密集型或GPU加速计算任务。在这种负载下加线程,收益曲线从第一步就不是线性的。
如果是Python写推理服务,很多人的第一反应是用threading开线程池。这里就踩到Python最著名的坑:GIL让同一个进程内的多个线程无法真正并行执行字节码。虽然像NumPy、PyTorch底层的C/C++运算会释放GIL,但推理接口的调度逻辑、预处理、后处理代码仍然受GIL约束。并发线程一多,锁竞争会直接吃掉收益,甚至让耗时倒退。我见过一个团队用Python ThreadPoolExecutor开16个线程跑一个图像分类模型,结果QPS只比单线程高20%,而CPU使用率却常年跑在500%以上。
C++和Java没有GIL问题,多线程推理可以真实并行,但依然绕不开物理核心数量的限制。设计测试用例之前,要先看清楚测试机的CPU拓扑:是几路物理CPU、每颗物理CPU有几个核心、是否开了超线程。超线程提供的是逻辑执行单元,跑纯计算任务时,1个物理核心上的2个逻辑线程并不能带来双倍吞吐,通常只能多挤出10%到30%的算力。所以线程数、核心数、逻辑线程数的关系,直接决定了压测的梯度设计。
1.2 GPU推理场景:并发推理未必是线程并发
GPU场景下的多线程逻辑又不一样。GPU本身就有并行执行海量运算的能力,你的推理任务只要以batch形式提交,单张卡就能同时处理多份输入。这时候再开多线程,需要理解的是线程到底在并发什么。
以CUDA为例,GPU上的计算是以stream(流)为组织单位的,同一个stream内的操作按顺序执行,不同stream之间才有并发的可能性。如果你在Python或者C++代码里开了多个线程,每个线程把输入数据拷贝到显存、执行推理、拷回结果,这些操作默认可能都塞进了同一个默认stream,结果就是所有线程的计算在GPU侧被串行排队。表面上线程数是上去了,GPU利用率却可能只跳动几个百分点。
真正想让多线程压榨出GPU能力,要么显式使用多个stream并在推理框架里开启并发执行,要么调整推理引擎自身的批处理参数,让单次推理吞下更多数据。测试时如果不区分“线程并发数”和“GPU执行流并发度”,对比数据毫无意义。
1.3 不可忽视的隐性竞争:显存带宽、内存分配与调度开销
第三个容易忽略的瓶颈是内存墙。无论是CPU推理还是GPU推理,模型权重和中间特征图都要在内存和显存之间流动。多线程并行执行时,多个线程会同时抢占内存带宽。尤其是CPU推理,内存带宽常常先于CPU算力被打满。
我用一个背靠背的矩阵乘基准测过:单线程跑一个1.5GB的大模型时,CPU利用率能稳定在80%以上;当线程数超过物理核心数的一半,CPU利用率还在涨,但单位时间完成的浮点运算量已经开始下跌。原因是所有物理核心在同时抢内存控制器和三级缓存,大量的CPU周期浪费在等待数据上。
还有个隐蔽开销是线程调度和上下文切换。Linux默认的CFS调度器会把线程在各核心之间迁移以追求负载均衡,但推理任务的缓存亲和性很强,线程被切走一次,L2/L3缓存里的权重数据就全失效了。多线程测试如果出现“线程数多了但单线程延迟也变差”的现象,第一个要怀疑的就是莫名其妙的上下文切换。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 搭建线程级推理压测环境:从脚本到监控
2.1 先定义指标:QPS、RT、P99和线程饱和度缺一不可
性能测试最忌讳只盯一个指标。推理服务最常见的错误目标就是“QPS越高越好”,结果把请求打满了,单个请求的响应时间早超过业务容忍线。
我习惯把指标拆成四组来记录:
- 吞吐指标:QPS、每分钟成功推理数,看系统处理能力;
- 延迟指标:平均RT、P50、P95、P99,看用户体验和抖动情况;
- 资源指标:CPU利用率、内存占用、显存占用、GPU利用率,看瓶颈在哪里;
- 饱和指标:活跃线程数、队列堆积长度、线程池拒绝次数,看系统是不是已经濒临崩溃。
压测前还得约定好测试数据。用线上真实请求的录制回放最好,没有的话
