man One1. 部署大模型第一步：先搞清楚要部署哪个模型
很多人一上来就问我：“我想搞AI应用，到底应该用哪个工具部署呀？”这个问题本身没错，但顺序反了。部署是最后一步，第一步是选模型。 模型选错了，后面用再牛的工具也救不回来。
在谈工具链之前，我们必须先把模型选型这件事聊透，因为你的模型决定了后面整个工具链的形态。
1.1 场景决定模型，而不是名气决定模型
现在市面上的开源模型多到让人眼花缭乱：Llama系列、Qwen系列、Mistral、DeepSeek、GLM……每个都有不同尺寸的版本。但真正的选择逻辑只有一条：你的应用场景需要什么能力，你的硬件预算能撑起多大参数量的模型。
我把常见场景粗暴分成三类：
第一类：通用对话和内容生成。 这是最常见的需求，比如做客服机器人、写作助手、聊天应用。这类场景需要模型的综合理解能力强，Qwen2.5系列、Llama 3系列、DeepSeek这类通用模型就是首选。参数量建议7B起步，最好是14B或72B，效果才够看。
第二类：代码生成和逻辑推理。 如果你要部署的是代码助手，或者需要模型做结构化输出、多步推理，那就得优先考虑CodeLlama、DeepSeek-Coder、Qwen2.5-Coder这类专门优化过代码能力的模型。这类模型在代码任务上能甩开同参数量的通用模型一大截。
第三类：垂直领域任务。 比如法律文书抽取、医疗问答、金融风控。这类场景其实有个更聪明的做法：选一个小底座模型（1.5B到7B），然后用领域数据做微调。 不要一上来就上大模型，成本高还不好调。
1.2 硬件成本与模型尺寸的匹配关系
这里有个非常现实的约束：你的GPU显存决定了你能跑多大的模型。以FP16精度为例，参数占用的显存大约是参数量乘以2字节。也就是说：
- 7B模型：FP16约需14GB显存，加上KV Cache和中间激活值，实际至少需要18GB到24GB显存
- 13B~14B模型：FP16约需28GB显存，实际至少需要36GB到48GB
- 70B模型：FP16约需140GB显存，基本告别单卡，得上多卡并行
所以你看，如果手头只有一张RTX 4090（24GB），跑7B模型是舒服的，跑14B就得做4bit或8bit量化。如果只有一台MacBook Air M3 16G（这是热搜词里出现过的热门配置），那就老老实实跑7B以下的小模型，还能用CPU推理引擎兜底。
提示：显存紧张时，优先考虑量化部署而不是缩小模型尺寸。一个4bit量化的13B模型，在很多任务上依然能赢过FP16的7B模型。这是实践里性价比最高的一条路。
1.3 我的模型选型决策清单
根据我怎么都绕不开的实操经验，给出一份可以直接抄的决策清单：
| 我的硬件情况 | 推荐模型 | 部署方案 |
|---|---|---|
| 单张消费级显卡（8GB~16GB） | Qwen2.5-7B-Instruct、Llama-3.1-8B | 4bit量化 + vLLM或llama.cpp |
| 单张24GB显卡 | Qwen2.5-14B、DeepSeek-V2-Lite | 4bit量化 + vLLM |
| 两张24GB或更好的卡 | Qwen2.5-72B量化版、Llama-3.1-70B量化版 | Tensor并行 + vLLM |
| 无GPU，纯CPU或Mac | Qwen2.5-3B、Phi-3-mini、Llama-3.2-3B | llama.cpp / Ollama |
| 需要高并发生产环境 | 上述任选 + API网关 | vLLM / TensorRT-LLM + Nginx |
判断模型好不好，别光看排行榜。用你自己的真实业务数据测。 把应用里最典型的50条用户问题整理出来，作为一个mini测试集，换不同模型跑一遍，人工打分。这个过程花不了半天时间，但能帮你避开“排行榜神模型实际效果拉胯”的大坑。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. AI开发部署工具全景：从训练到推理的工具链图谱
选好模型之后，就要进入工具链的世界了。这个领域变化极快，工具多到让人头大，但本质上只有三个环节：训练/微调、推理加速、服务化部署。 每个环节都有对应的一批工具，搞清楚每个工具解决什么问题，比追新工具更重要。
2.1 训练与微调阶段：你不需要从零训练大模型
对绝大多数团队来说，从零训练大模型纯属浪费资源。我们需要的是微调——在底座模型的基础上，用特定数据把模型调成适合自己业务的样子。
目前在微调领域真正称得上主流的框架有两个：
HuggingFace PEFT + transformers。 这是最通用、最稳妥的方案。它实现了LoRA、QLoRA、Adapter等参数高效微调方法。所谓LoRA，简单说就是冻结原始模型的所有参数，只训练一小部分新增的低秩矩阵。这样能把训练所需显存降低一个数量级。我曾在单张24GB的显卡上用QLoRA微调过7B模型，效果相当可用。
LLaMA-Factory。 这个工具如果你是新手，我强烈建议直接用它。它把SFT、LoRA、DPO、KTO这些训练方式全部做了封装，给了Web界面和