1. 为什么要做容器化推理性能测试
1.1 从一次线上事故说起
上个月我帮一个团队排查模型服务响应变慢的问题,现象很奇怪:同样的模型、同样的GPU卡,容器里跑就是比裸机跑慢30%左右,而且并发一高就报错。排查到最后发现,问题出在Docker的共享内存默认只有64MB,模型推理时的Token流式输出和KV Cache写入把shm打满了。这让我意识到一个问题:很多团队在用容器化部署AI模型时,根本没有一套完整的性能基准测试方案,上线全靠"感觉没问题"。
说实话,AI模型推理容器化已经不是新话题了,绝大多数团队现在都会把FastAPI + vLLM这类推理服务用Docker打包,再扔到K8s里管理。但"能不能跑起来"和"能跑多快、能扛多大并发"完全是两码事。容器带来的资源隔离、共享内存限制、GPU驱动映射、网络端口映射,每一层都可能变成性能瓶颈。而且模型推理和其他Web服务有个本质区别:它不是一次性返回结果,而是逐Token流式输出,这导致它的性能衡量维度完全不同,压测方式也完全不同。
1.2 谁能从这篇内容里获得价值
如果你是下面这几类人,这篇文章值得看完:
- 算法工程师:模型训练完了要交付给工程团队,但不懂推理服务怎么压测,别人问"模型并发能力怎么样"答不上来。
- 后端/运维工程师:要用容器化方式部署推理服务,但搞不清楚要给容器多少资源、shm-size设多大、并发线程怎么配。
- AI平台开发:正在搭内部的推理服务平台,需要一套可复现的压测方案来做容量评估和弹性伸缩依据。
- 正在纠结裸机还是容器部署的小团队:可以拿这篇文章的测法,先把两种部署方式的性能数字跑出来,再决定走哪条路。
这篇文章会从测试方案设计、工具选型、执行过程、指标解读到避坑指南完整讲一遍。我不讲虚的,全部是我实际测过、踩过坑之后沉淀下来的经验。我的测试环境是这样:2张NVIDIA A10 24GB卡,使用Docker并开启GPU模式,推理框架用vLLM,模型选Qwen2-7B-Instruct。 你不需要同样的配置,整体思路完全可复用。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 测试目标与指标体系设计
2.1 先明确"性能"到底指什么
提到性能测试,很多人第一反应是"用JMeter压一下接口"。但AI模型推理和传统Web接口有一个关键差异:输出是流式的,不是一个完整响应。传统接口的指标是"每秒处理多少请求"(QPS)和"平均响应延迟",但模型推理按照生成Token的方式工作,所以必须引入一套完全不同的指标。
我推荐一套在业界公认的模型推理核心指标组合:
| 指标名称 | 缩写 | 含义 | 类比 |
|---|---|---|---|
| 首Token延迟 | TTFT | 从发送请求到收到第一个Token的时间 | 你点了一个菜到第一个菜上桌的时间 |
| 单Token生成耗时 | TPOT | 生成每个Token的平均耗时 | 两道菜之间的上菜间隔 |
| 吞吐量 | Throughput | 单位时间生成的Token总数 | 餐厅单位时间能出多少道菜 |
| 并发数 | Concurrency | 同时处理的请求数量 | 餐厅里同时能坐下多少桌客人 |
| 请求完成率 | Success Rate | 成功完成请求的比例 | 有多少桌客人能吃完走人而不是被等走 |
对于对话、生成类任务,用户体感最差的是TTFT太长——输入一堆问题后转圈不出字。而吞吐量直接决定GPU的利用率,影响成本。所以压测时必须两个维度一起看,不能只盯着一个。
2.2 压测场景怎么设计才科学
我见过很多团队做压测就是"拿脚本猛怼接口,看服务会不会挂",这种方式能暴露极限问题,但拿不到调优所需的量化数据。合理的做法是按真实使用模式拆成多个场景。
我习惯把场景分成三档:
- 低并发场景(并发数1~4):模拟日常开发调试、少量用户接入的情况,主要看单请求质量,TTFT和TPOT要足够低。
- 中并发场景(并发数8~16):模拟一个小团队或中等业务量,看吞吐量是否线性增长,有没有出现资源和锁竞争。
- 高并发场景(并发数32~64):模拟大流量或峰值情况,看服务能不能扛得住,错误率和延迟的尾部行为(P95/P99)如何。
同时要注意输入输出长度的影响。很多团队压测只用256个Token的短输入,结果上线后真实业务是2000字的长文档,性能直接崩掉。因为输入越长,预填充阶段(Prefill)的显存和计算开销就越大。我一般至少覆盖三档:短文本(输入256, 输出256)、中长文本(输入1024, 输出512)、长文本(输入2048, 输出1024)。
2.3 预热、持续时长和稳定性
压测过程中还有一个必须处理的东西:冷启动 vs 热状态。模型首次推理时,权重需要被加载到GPU显存,CUDA内核也会执行一遍初始化,所以第一批请求通常会异常慢。如果直接拿第一批请求的数据作为结果,会严重失真。
我的标准做法是:正式压测前先发5~10个请求做预热,确保权重和缓存都已经就绪,然后再开始正式记录数据。持续时间上,我至少跑5分钟,有些场景会跑到15分钟。原因很简单:1分钟的数据可能掩盖显存碎片化和内存溢出的渐进性问题。我实际遇到过不少案例,压测前3分钟一切正常,第5分钟开始请求失败率飙升,就是因为KV Cache管理或显存泄漏导致的。这种问题短时间压测根本测不出来。
3. 测试环境搭建与工具选型
3.1 容器环境:从镜像到启动参数
先把Docker镜像和启动参数这块说清楚。推理服务的基础镜像有很多选择,但我建议直接用官方维护的,因为CUDA驱动版本和PyTorch版本的兼容性非常容易出问题。我用的镜像是基于 nvidia/cuda:12.4.0-base-ubuntu22.04 构建的,Python 3.10 + vLLM 0.6.0。
一个我的独家经验:不要用 nvidia/cuda:12.4.0-runtime-ubuntu22.04 这种runtime镜像来做推理服务,base就够用。推理场景不需要编译,runtime镜像里那些多余的库只让镜像体积变大,构建时间变长,对运行没有任何帮助。
启动命令这里有个关键点,特别值得展开说:
bash复制docker run -d \
--name qwen2-inference \
--gpus all \
--shm-size=8g \
-p 8000:8000 \
-e CUDA_VISIBLE_DEVICES=0,1 \
-e VLLM_WORKER_MULTIPROC_METHOD=spawn \
-v /data/models:/models \
qwen2-inference:v1
--shm-size=8g 是无数团队踩过坑的地方。Docker默认共享内存只有64MB,而vLLM在张量并行和数据处理时会使用共享内存做IPC通信,如果没调大,并发稍微一高就会出现 Bus error 或者 CUDA error when copying to host memory。这个参数我第一次也是漏了,排查了一天才定位到。**小建议:8
