周晓农这两年“大模型”三个字几乎把技术圈刷屏了，但大多数教程讲的都是在云端调API，真正自己动手在Linux服务器上把开源大模型跑起来的人还是少数。我前后在几台不同配置的服务器上折腾过DeepSeek、Qwen、Llama系列，踩过的坑加起来能写一本小册子。这篇就完整记录一下我自己的部署过程，从硬件评估、环境准备、推理框架选型，到API接入和性能调优，全部基于真实操作经历，希望能帮你少走弯路。
先说清楚这篇文章适合谁看：手里有一台Linux服务器（不管有没有GPU），想把开源大模型部署起来做私有化服务的人；被各种教程绕晕、不知道选Ollama还是vLLM的人；以及已经在跑模型但遇到显存溢出、推理速度慢、API调用不稳定等问题的朋友。全程我会用一套可复现的流程来讲，你照着做基本能跑通。
1. 部署前先算账：硬件评估与场景选型
1.1 显存公式与模型参数量如何换算
我见过太多人一上来就ollama run deepseek-r1:70b，然后眼睁睁看着OOM（Out of Memory）报错刷满屏幕。部署大模型的第一个核心问题不是装什么软件，而是你的服务器到底扛不扛得住。
这里有个简单的估算公式，我每次选型都先拿它算一遍：推理所需显存 ≈ 模型参数量(以B为单位) × 精度字节数 × 1.2。比如7B模型用FP16（2字节）推理，理论上需要 7×2=14GB显存，乘上1.2的余量因子后大约17GB，这意味着单张16G显卡跑FP16的7B模型非常勉强，但跑4bit量化（约0.5字节/参数）只需要 7×0.5×1.2≈4.2GB，轻松无压力。
市面上开源模型的参数规模差异很大，0.5B到70B都有。按我的实际经验：
- 1.5B以下：普通CPU服务器都能跑，基本没有门槛
- 7B级别：有8G以上显存的GPU能玩得比较舒服，量化后6G也能跑
- 14B级别：建议16G显存起步，配合量化更稳
- 32B及以上：24G显存是门槛，量化后勉强，但速度会打折扣
- 70B级别：基本得上多卡或者纯CPU大内存硬扛，速度就别指望了
提示：如果你在犹豫“我的显卡行不行”，直接查显存大小，再对照上面这个区间，基本就能确定能玩哪个档位的模型。
1.2 没有独立显卡怎么办：CPU推理与量化选择
很多人的服务器其实是纯CPU环境，尤其是一些旧机器或云服务器。没显卡不代表完全不能跑大模型，只是要在模型大小和速度之间做取舍。
我之前在一台32核64G内存的纯CPU服务器上跑过Qwen2.5-7B-Instruct的4bit量化版，生成速度大概在每秒4到6个token，写个摘要、跑个文本分类完全够用，但用来聊天会明显觉得“一个字一个字往外蹦”。如果机器只有16G内存，建议老老实实选3B以下的模型，或者用1.5B的，否则内存交换会把整台服务器拖死。
CPU推理还有一个容易被忽略的点：内存带宽比核心数更重要。大模型推理是典型的内存带宽密集型任务，双通道DDR4和四通道DDR5的差距能直接体现在生成速度上。所以买机器或者租服务器时，别只盯着核心数，内存通道数和频率也得看。
模型量化格式方面，目前最常见的是GGUF，它专门为CPU推理做了优化，支持分片加载。你在Ollama或llama.cpp里看到的Q4_K_M、Q5_K_M、Q8_0这些后缀，就是不同精度的量化版本，数字越小模型越小、损失越多，但速度越快。我个人的默认选择是Q4_K_M，效果和体积平衡得最好。
1.3 我选定的这套部署方案和理由
我这篇文章的主线会围绕一台双路服务器展开：双路Intel Xeon（共32核）、128G DDR4内存、一张RTX 4090 24G显卡。这套配置在2025年的今天依然很有代表性，既能跑7B到14B模型的量化版，也能勉强摸一摸32B模型的下限，更关键的是，它的部署逻辑和你手里任何一台Linux服务器完全一致。
推理框架我选了Ollama作为主力，因为它的ollama run一条命令就能把模型拉下来跑，对新手极其友好；同时我会用vLLM演示进阶部署方式，因为生产环境里高并发请求时vLLM的吞吐量优势非常明显。这两个框架都支持OpenAI兼容API，意味着你之后接任何应用，代码都可以一套走天下。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Linux服务器环境准备
2.1 操作系统与基础依赖
部署大模型对操作系统没有特别苛刻的要求，主流Linux发行版都行。我个人长期用Ubuntu 22.04 LTS，原因是它的驱动兼容性和社区资料最全，踩坑时能搜到的解决方案最多。CentOS、Debian、Rocky Linux也都没问题，只是包管理器命令略有差异。
装完系统后第一件事是更新软件源并安装基础工具，我每次新机器到手都会先跑一遍：
bash复制sudo apt update && sudo apt upgrade -y
sudo apt install -y curl wget git build-essential python3 python3-pip
这里有个小提醒：不要用系统自带的Python 3.8以下版本跑推理框架，很多依赖已经不支持了。Ubuntu 22.04自带的Python 3.10没问题，但如果你用CentOS 7这种老系统，建议先装个Python 3.10以上的版本再说。
另外，很多模型仓库的下载走的是Git LFS，如果你打算直接从HuggingFace拉模型文件，记得把Git LFS装上：
bash复制sudo apt install -