香香甜甜圈实验室共用服务器的 GPU 常年排队，自己买卡又实在掏不出那笔钱，这是不少研究生都碰到过的死结。我当年也是这么过来的：手里一台游戏本，模型稍微大一点就显存爆炸，跑一版实验动辄十几个小时，只能半夜蹲在实验室等别人跑完。后来把目光转向云端的 GPU 算力，才算真正把实验节奏握在自己手里。
这里说的“云端显卡”，本质就是云服务商提供的 GPU 实例，按小时租用，按需付费。它的核心价值在于把一次性的硬件购置成本，拆成了一笔笔可以精确控制的小额开销。对于预算有限但需求不小的研究生群体来说，做到“花小钱办大事”的关键，不是比谁的卡贵，而是比谁更懂自己到底需要什么。这篇文章我就把这两年摸爬滚打的选卡思路、平台对比和省钱技巧一次性讲透，所有内容都基于我真实跑实验的体验，希望能帮你少走弯路。
1. 先别急着选卡：多数研究生第一步就搞错了需求
很多人选云端显卡的第一个念头是“越贵越好”，点开平台页面直奔 A100、H100。但说实话，预算有限的前提下，这么做基本等于把首月生活费直接烧掉。选卡的第一步永远不是看卡，而是看你自己的实验到底吃什么资源。
1.1 显存才是第一道门槛：为什么你的模型总是 OOM
在云 GPU 平台上，显存大小直接决定你“能跑什么模型”，算力只决定你“跑得多快”。我在刚开始接触云 GPU 时就犯过一个典型错误：觉得算力强就万事大吉，结果租了一张只有 16G 显存的卡来跑一个 7B 参数的模型微调，程序刚启动就报 CUDA out of memory。后来才意识到，显存需求是可以提前算出来的。
先记住一个粗估公式：** 模型权重显存 ≈ 参数量 × 每个参数占用的字节数 **。以 FP16 精度为例，1B（10亿）参数大约占 2GB 权重显存。但这只是权重，训练时还需要额外空间存放梯度（同样约 2GB）和优化器状态（Adam 优化器通常需要 4 倍权重空间，约 8GB）。也就是说，1B 参数的全参训练，光权重、梯度、优化器状态就奔着 12GB 去了，这还没算激活值（activation）和 batch size 的消耗。如果你的 batch size 是 8、序列长度是 512，这部分可能再吃掉 4-8GB。
所以真实的显存需求往往是这样的量级：
| 模型规模 | 推理（FP16） | 全参微调 | QLoRA 微调 |
|---|---|---|---|
| 1B 模型 | 约 2GB | 约 16GB | 约 6GB |
| 7B 模型 | 约 14GB | 约 60GB+ | 约 20-24GB |
| 13B 模型 | 约 26GB | 约 120GB+ | 约 28-32GB |
| 70B 模型 | 约 140GB | 基本不可行 | 约 40-48GB |
这个表我建议你截图存一下，选卡之前先拿自己的模型规模来比对。如果只是跑推理或者做 LoRA 微调，一张 24G 显存的卡（如 RTX 3090 / 4090）通常就绰绰有余；如果要全参微调 7B 模型，直接奔着 40G 以上显存（如 A100-40G）去，中间档位反而容易卡住。
1.2 算力需求要结合任务类型来定：不是卡越新越好
显存确认了“能不能跑”，算力才决定“跑得爽不爽”。算力这块常见的单位是 TFLOPS，简单理解就是每秒能做的浮点运算次数，数值越高，单位时间能处理的样本就越多。但问题是，高性能卡的单价也高，