超级简历WonderCV最近在帮朋友折腾本地化部署大模型，结果十个人里有七个都卡在同一个地方：Ubuntu下NVIDIA驱动装不好。不是装完进不去桌面，就是nvidia-smi根本跑不出来，再要么就是推理框架死活识别不到GPU。包括我自己第一次在Ubuntu上给机器装驱动也翻过车，所以这篇文章决定把Ubuntu本地化部署大模型的第一个硬门槛——NVIDIA驱动安装，拆开揉碎讲清楚。
不管你接下来是想用Ollama跑DeepSeek，还是用vLLM做高并发推理，或者只是想本机跑一个RAGFlow做知识库，驱动装不好，后面全是白搭。这篇文章面向的是准备在Ubuntu上做本地化部署大模型的朋友，我会把自己实际装驱动、配CUDA、跑通推理的完整流程记录下来，重点说清楚每一步为什么这么做，而不是只给你一串无脑复制的命令。
1. 为什么本地化部署大模型，先得把NVIDIA驱动搞定
1.1 GPU在大模型推理里的不可替代性
大模型说白了就是一个巨大的参数矩阵，每一次推理过程就是海量的矩阵乘法和向量运算。这类运算有一个特点：单步运算逻辑简单，但量极大，而且彼此之间没什么强依赖，天生就适合并行计算。GPU恰恰就是为这种大规模并行而生的硬件，一颗中端的消费级显卡就有几千个CUDA核心，意味着几千个计算单元可以同时干活。
CPU不是不能跑大模型，而是它的核心数量太少，一个8核16线程的CPU同一时刻最多并行处理十几个任务，和GPU动辄几千个核心相比完全不在一个数量级。我实测过一个7B参数级别的量化模型，纯CPU推理时生成一个token要两三秒，换成GPU后延迟直接掉到几十毫秒，差距是几十倍。所以只要你的目标是“本地化部署大模型”，而不是单纯验证代码能不能跑，GPU基本是必需品，NVIDIA驱动就是让操作系统和GPU正常通信的第一步。
1.2 驱动、CUDA和推理框架之间到底是什么关系
很多新手容易把驱动和CUDA混为一谈，其实它们是三层东西。我用快递系统打个比方：GPU是仓库，CPU是调度中心，Ubuntu系统是管理整个园区的物业。驱动负责让物业和仓库之间建立通信管道，没有驱动，系统根本不知道仓库在哪、有多大、能干什么；CUDA则是一套标准化的“装卸规范”，告诉仓库管理员应该按什么格式把货物摆放好；而推理框架（如PyTorch、vLLM、Ollama）就是下单发件的人，它只需要按照CUDA这套规范去操作就行。
所以驱动需要和GPU硬件匹配，CUDA需要和驱动版本兼容，推理框架需要和CUDA版本匹配。一旦某一个环节版本不对，就会出现“明明装了驱动但PyTorch报CUDA不可用”这类问题。关于版本匹配，我一般建议先看nvidia-smi输出的Driver Version和CUDA Version，驱动支持的最高CUDA版本一定不能低于你安装的CUDA Toolkit版本。
1.3 驱动没装好时的几个典型“翻车现场”
我自己踩过的坑以及帮别人排查过的故障，归纳起来主要有这么几类。
第一类是nvidia-smi命令直接报“command not found”或者“NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver”。这种情况通常是驱动压根没装成功，或者装完后没重启。
第二类是重启后卡在黑屏或者只能进TTY字符界面，最常见的原因是开源的nouveau驱动和NVIDIA官方驱动冲突。nouveau是Linux内核自带的NVIDIA开源驱动，性能差而且稳定性一般，装官方驱动时必须先禁用它，否则两个驱动打架，系统直接起不来图形界面。
第三类是装好了驱动系统也正常，但跑起来后发现PyTorch或者TensorFlow根本检测不到CUDA设备，报错类似“CUDA error: no kernel image is available for execution on the device”。这种情况大概率是驱动版本或者CUDA版本和当前用的PyTorch版本不匹配，网上能搜到一大堆因为这个原因折腾好几天的人。
还有一类比较隐蔽，是在笔记本双显卡（NVIDIA独显+Intel核显）环境下，默认用核显输出，NVIDIA驱动装了但完全没启用，nvidia-smi能输出信息，但GPU利用率一直是0%。这类问题我会在后面的章节专门说怎么排查。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 动手之前：先确认硬件、系统和依赖
2.1 用三条命令确认显卡型号和当前状态
任何安装操作之前，先搞明白你机器上到底是一张什么显卡，目前驱动是什么状况。我的习惯是先跑这样三条命令：
bash复制lspci | grep -i nvidia
这条命令能列出所有PCI设备里和NVIDIA相关的内容。如果你能看到类似“NVIDIA Corporation GA106 [GeForce RTX 3060 Lite Hash Rate]”这样的输出，说明系统能识别到这张显卡，剩下的问题只是驱