没吃药的小沙弥“本地大模型部署”这几个字，最近在我身边出现的频率高得吓人。做开发的同事问能不能把 DeepSeek、Qwen 装到自己笔记本上写代码用，做内容的同学问本地起的模型能不能做知识库问答，还有刚入行的朋友一开口就是“我是不是得配一台好几个W的工作站”。大多数人的第一反应都是先看硬件参数，结果越看越慌，最后干脆放弃。我决定把这一整套流程掰开揉碎写出来：从判断机器能不能跑、选什么工具和模型、到真正把模型跑起来并接到 VS Code、Claude Code 这类日常工具里，再到用 Docker + vLLM 做像样一点的推理服务，每个环节都讲清楚“为什么这么做”而不是只丢命令。这篇文章适合所有想在本地折腾大模型的开发者，哪怕你只有一台普通笔记本，只要跟着流程走，两小时内一定能看到模型在本地给你回话。
1. 部署前必须先算账：显存、内存和模型大小到底什么关系
很多教程一上来就让你装 Ollama、拉模型，结果拉到一半发现自己电脑根本带不动，白等半天。本地部署大模型这件事，第一道门槛从来不是工具，而是你对“模型跑起来要吃多少资源”这件事有没有概念。
1.1 一张公式看懂显存需求
先给一个最简单的估算公式，Transformer 结构的模型在推理时，光是把权重放进显存就有一个下限：
text复制权重显存 ≈ 参数量(B) × 每个权重占的字节数
- 用 FP16 半精度跑，每个参数占 2 字节，7B 模型光权重就是 14GB。
- 用 INT8 量化，每个参数占 1 字节，7B 模型约 7GB。
- 用 INT4 量化，每个参数约为 0.5 字节，7B 模型约 3.5GB 到 4GB。
但这只是“权重”部分。实际推理时还要算上 KV Cache、临时激活值、推理框架自身的开销。KV Cache 和上下文长度直接相关，你给模型塞的上下文越长，吃的显存越多。所以一个很常见的现象是：模型明明加载成功了，一聊长对话或者一上传大文档就报显存不足，原因就在这。
以目前最主流的 GGUF 量化格式为例，Ollama 仓库里 Q4_K_M 量化版本的模型体积大致如下，这个数字已经包含了大部分实际开销的参考：
| 模型 | 大概体积 | 建议显存/内存 | 适合场景 |
|---|---|---|---|
| qwen2.5:0.5b | 约 0.4GB | 4GB 可玩 | 简单问答、测试流程 |
| qwen2.5:3b | 约 1.9GB | 6-8GB | 轻量对话、普通办公 |
| deepseek-r1:7b | 约 4.7GB | 8-12GB | 推理问答、代码生成 |
| qwen2.5-coder:7b | 约 4.7GB | 8-12GB | 代码补全、代码解释 |
| qwen2.5:14b | 约 9GB | 16GB 起步 | 综合对话、阅读理解 |
| deepseek-r1:32b | 约 20GB | 32GB 起步 | 高质量推理 |
| qwen2.5:32b | 约 19GB | 32GB 起步 | 综合能力强 |
注意，表格里的配置建议不是绝对的。一个非常现实的情况是：如果你只有 8GB 显存，跑 7B 的 Q4 量化模型是可行的，但如果你想同时跑两个模型、或者开一个很大的上下文窗口，立刻就会挤爆显存。先对着这张表，冷静看看自己的机器属于哪一档，再决定要拉哪个模型，这是省时间的关键。
1.2 没有独显也不代表完全没戏
没有 NVIDIA 显卡能不能本地部署？能，但你要接受一个现实：速度会比较慢。以 llama.cpp 这类纯 CPU 推理引擎为例，模型全靠 CPU 算，生成速度主要取决于内存带宽。普通双通道 DDR4/DDR5 内存的话，跑 7B 量化模型大概能做到每秒 1 到 3 个 token，这个速度用来应付简单的问答、文本润色是够的，用来写代码辅助就会觉得响应太慢。
Mac 用户情况会好不少，因为 Apple Silicon 是统一内存架构，CPU 和 GPU 共用一块内存。M 系列芯片的机器跑本地模型其实非常有优势，比如 16GB 统一内存的 MacBook Air 跑 7B 量化模型能到每秒十几个 token，体验比同价位的无独显 Windows 笔记本强太多。所以别一看“没有 N 卡”就觉得自己被排除在外，先看你的内存和系统。
另外还有纯内存容量的问题。跑模型之前，确保你的剩余 RAM 至少要比模型文件大出 2GB 以上，否则模型还没开始说话，系统就可能因为内存不足把进程杀掉。我见过太多人拿着 8GB 内存的机器硬拉 14B 模型，结果终端里模型加载到一半整个系统卡死，最后只能强制重启。
1.3 部署链路的选择：先知道有哪几条路
搞清楚硬件能跑到什么程度之后，再选部署工具就不会乱。目前主流工具大致分三类：
- Ollama：自带模型仓库，一条命令拉模型、一条命令跑服务，体验最像“装 App”，适合绝大多数人和绝大多数场景。
- LM Studio：图形化界面做得好，适合不想碰命令行的人，内置搜索和下载功能，也可以开一个 OpenAI 兼容 API 让别人调用。
- vLLM / SGLang 这类推理框架：面向高并发、生产级服务，配置门槛高，但对显存利用率和吞吐量的优化到位，适合团队内部服务、批量任务。
很多人把这三类工具对立起来，其实没必要。它们解决的问题是不同的，前期先老老实实从 Ollama 开始，等你觉得“响应速度不够”“并发一多就排队”，再考虑上 vLLM。这也是我后面会用专门一节讲 vLLM 的原因。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从零跑通第一个本地模型：Ollama 安装与完整实操
Ollama 为什么能成为本地部署的事实标准？因为它把最麻烦的三件事一次性解决了：模型文件分发、底层推理引擎、OpenAI 兼容 API。你不需要自己下载 Hugging Face 上的权重，不需要编译 llama.cpp，也不需要写服务端代码，装一个 Ollama 就全齐了。这一步的目标只有一个：在你自己的电脑上，看到大模型真正开始对话。
2.1 安装 Ollama 的三种方式
Ollama 支持 Windows、macOS 和 Linux。Windows 和 macOS 用户直接到 ollama.com 下载安装包即可，安装完打开命令行敲 ollama --version 能输出版本号就说明成功了。Linux 服务器用户一般用官方安装脚本：
bash复制curl -fsSL https://ollama.com/install.sh | sh
脚本会自动帮你处理 systemd 服务，装完之后 Ollama 已经在后台运行，默认监听本机的 11434 端口。装完先确认一下服务状态，别急着拉模型：
bash复制sudo systemctl status ollama
看到 active (running) 就说明服务起来了。Windows 上