本地部署LLM,最开始两天我都在跟两个问题搏斗:推理慢到让人怀疑人生,显存像是被什么东西偷偷挖走一样,动不动就OOM。后来一步步把Transformers原生推理换成量化加载,再切到vLLM批处理,又折腾了Ollama的混合部署方案,总算把这个"推理慢、显存炸"的组合问题梳理出了一套完整的实操解法。这篇文章就是把我踩过的坑、验证过的代码、以及每一步背后的原理一次性讲清楚,尤其适合手头只有8G或12G显存显卡,又想本地跑7B甚至14B模型的同学。
很多人觉得本地部署LLM就是装个环境然后调用模型这么简单,但实际上推理性能和显存占用之间是强耦合的。你单独调推理速度,显存可能会进一步爆炸;你为了省显存去压缩模型,速度又有可能下降。真正要解决的问题,不是某一个点,而是整条链路。下面我会从显存的真实消耗模型开始讲起,然后给出三个可以直接上手的实操方案,每个方案都带完整代码,最后再附上我在实际部署中排查OOM、调参的完整链路和避坑清单。
1. 显存到底被谁吃掉了:推理开销的完整拆解
在动手处理前,先把账算清楚。你必须知道一次LLM推理过程中,显存被哪些东西占用,否则你只能在"又爆了"和"换更好的显卡"之间反复横跳。
1.1 模型权重:最直观的大头
模型权重是推理前加载进显存的基础部分,也是最容易估算的部分。一个7B参数模型,如果以FP16精度加载,每个参数占2字节,那就是7×10^9×2约等于14GB。如果是BF16,数值大小和FP16一样是2字节,所以也是约14GB。
这里有个很多人忽略的点:FP32精度每个参数占4字节,同一个7B模型会占28GB,普通消费级显卡根本扛不住。这也是为什么我建议直接把加载精度默认设为FP16或BF16,别再用FP32了。
对于不同的模型规模,一张表可以看得很清楚:
| 模型参数量 | FP32(4字节/参数) | FP16/BF16(2字节/参数) | 8bit量化(1字节/参数) | 4bit量化(约0.5字节/参数) |
|---|---|---|---|---|
| 1.5B | 6GB | 3GB | 1.5GB | 约0.8GB |
| 7B | 28GB | 14GB | 7GB | 约4GB |
| 13B | 52GB | 26GB | 13GB | 约7GB |
| 32B | 128GB | 64GB | 32GB | 约17GB |
所以当你只有8G显存,却直接以FP16跑7B模型时,连权重都装不下,还没开始推理就已经OOM了。
1.2 KV Cache:隐蔽的显存杀手
权重只是基础,真正的暗坑是KV Cache。Transformer模型在生成每个token时,需要把历史token的Key和Value缓存下来用于注意力计算,这部分的显存占用会随着序列长度线性增长。
计算公式大致是:2(K和V两个矩阵)× 模型层数 × 隐藏层维度 × 序列长度 × 批量大小 × 每个元素字节数。
举个例子,一个7B模型,假设32层、隐藏层维度4096、FP16精度,那么每个token每个层的缓存是2×4096×2字节约等于16KB,32层就是512KB。如果上下文长度是4096,那么单条序列的KV Cache是512KB×4096约等于2GB;上下文拉到8192,KV Cache直接翻倍到4GB。
这就是为什么模型刚开始推理时显存余量看着还行,生成到后面就越来越卡、最终炸掉。很多人只盯着权重算显存,忽略KV Cache,这是"显存炸"最典型的误判点。
1.3 CUDA上下文、激活值和临时张量
除了权重和KV Cache,还有几项零散开销:CUDA context本身在程序初始化时会占用一部分显存,通常在几百MB到1GB不等;激活值和中间计算结果在推理过程中也会临时占用显存;PyTorch的CUDA缓存分配器还会因为申请和释放产生内存碎片。
这几项加起来,虽然单看不吓人,但叠加到大模型场景下,就成了压垮8G显卡的最后一根稻草。我在跑7B模型FP16时,仅仅CUDA context和激活值就吃掉了2GB显存,留给我做推理的空间只剩6GB,而权重就要14GB,于是稳定溢出。
搞清楚这几项之后,方案就清晰了。三个实操方向分别是:压缩模型权重(量化)、优化推理框架(vLLM批处理)、以及更低显存的混合部署(Ollama/llama.cpp的CPU+GPU组合)。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 方案一:权重量化,从FP16降到INT4的实操代码
对于显存不够的用户,量化是投入产出比最高的第一步。它的核心思路很直接:用更少的位数来表示权重,虽然牺牲一点精度,但换来成倍的显存释放。
