chanlier我在Windows上折腾大模型私有化部署的时间不算短了，前前后后试过llama.cpp、LM Studio、text-generation-webui，最后稳定用下来的反而是看起来最简单的Ollama。如果你也想在自己电脑上跑一个本地大模型，处理文档摘要、代码问答、内部知识库这类需求，又不想把数据传到云端API，那这篇应该能帮你少走不少弯路。我会从Windows下的安装、模型拉取、API调用到踩坑排查整个链路讲清楚，全部是我实际跑过的步骤和真实遇到过的状况。
1. 为什么是Ollama：Windows上大模型部署的选型逻辑
1.1 私有化部署到底解决了什么问题
先说动机。当初我要做的其实是件很简单的事：把一堆内部技术文档丢给大模型做问答。最开始用的云端API，效果确实好，但有个问题绕不过去——文档内容要传到对方服务器上。有些资料虽然不算什么机密，可让第三方过一遍总觉得别扭。再加上团队里几个人高频使用，按token计费一个月下来也不算小数目。于是我把目光放到了私有化部署上。
所谓大模型私有化部署，就是把模型文件下载到本地，用本机的CPU或显卡完成推理。带来的好处很直白：
- 数据不出本机，隐私边界你自己说了算
- 没有按量计费，跑多跑少都是那点电费
- 断网也能用，出差途中照常干活
- 模型文件在自己手里，换模型、调参数都比较自由
当然代价也有：硬件性能直接决定了你能跑多大的模型、响应有多快。这也是为什么很多人在Windows上部署时会犹豫，总觉得这是Linux服务器才该干的事。实际上只要选对工具，Windows下一样可以跑得很舒服。
1.2 对比LM Studio、llama.cpp、vLLM，Ollama赢在哪
我在选型阶段对这些工具都摸过一遍，放个横向对比给你参考。
| 工具 | 上手成本 | API支持 | Windows友好度 | 适合人群 |
|---|---|---|---|---|
| Ollama | 极低，一条命令拉模型 | 自带HTTP API和OpenAI兼容接口 | 原生安装包，后台服务 | 大多数个人和小组用户 |
| LM Studio | 低，图形界面漂亮 | 有本地API但生态弱一些 | 友好 | 完全不想碰命令行的人 |
| llama.cpp | 高，要自己编译和管理二进制 | 有server示例，但配置繁琐 | 一般 | 想从底层理解推理原理的人 |
| vLLM | 高，依赖Linux环境 | 吞吐强，适合服务端 | 不友好 | 服务器并发高的场景 |
Ollama在Windows上的最大优势是"省心"二字。它帮我把模型量化、显存调度、上下文管理、API暴露这些脏活都包了，我只需要关心自己到底要用哪个模型。而且它默认注册成后台服务，开机自启，我写代码的时候直接走本地HTTP请求就能调模型，体感和调云端API几乎一样。
1.3 什么情况不建议用Ollama
Ollama不是万能的，我也得把话说全。如果你需要同时在多张A100上并行跑大规模模型服务，或者要精细化控制PagedAttention、前缀缓存这类底层推理优化，那vLLM之类的东西更合适。如果只是想要一个纯图形界面、点几下鼠标就能聊天，LM Studio会更直观。
我个人对Ollama的定位是：个人工作站上的轻量化模型服务。它最舒服的场景是单人使用或小团队共享一两块消费级显卡，不适合重度在线业务。明确这个边界之后，后面所有配置你都不会觉得绕。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 安装环节最容易被劝退的两件事：下载慢和默认目录
2.1 下载安装包的正确打开方式
Ollama的Windows安装包在官网就能下，发行版文件同时会同步到GitHub Releases页面。安装包本身大概几百MB，正常情况下是可接受的。但国内网络访问境外服务器经常抽风，如果你遇到下载特别慢、下到一半卡住的情况，我实测有两个相对靠谱的办法：
- 换用支持多线程的下载工具，比如IDM、迅雷，把官方直链丢进去，速度通常能明显改善。之前我卡在几十KB/s的安装包，用IDM多线程基本能跑满带宽。
- 找已经下载过安装包的同事、朋友拷贝一份，注意核对版本号和哈希值。这个办法土但真的快。
下载完成后双击运行即可。安装过程几乎没有要选项的地方，不需要管理员权限，一路下一步就好。装完后务必把当前命令行窗口关掉重开，再执行ollama -v验证一下，看到版本号就说明客户端能用了。
之所以要重开命令行，是因为安装程序会自动把Ollama的安装目录加入PATH环境变量，但PATH的刷新只对新打开的终端生效。如果你在一个已经开着的终端里敲ollama，大概率会提示"不是内部或外部命令"。这个不算问题，重开终端即可。
2.2 把模型放到D盘：OLLAMA_MODELS环境变量
这个问题是我被问得最多的。Ollama安装程序虽然没有给你选目录的界面，但真正占磁盘空间的大头不是程序本体，而是模型文件。一个7B参数量Q4量化级别的模型就要4到5GB，14B的接近9GB，如果你打算同时装几个模型，C盘瞬间就