崔怂包1. 问题背景与现象分析
最近在恒源云GPU服务器上部署Ollama时遇到了一个棘手的问题：明明租用的是RTX 4090（48GB显存）的高性能GPU，但在启动Ollama服务时却发现系统完全没有调用GPU资源。这种情况对于需要GPU加速的AI应用来说简直是灾难性的——相当于花高价租用赛车却只能当自行车用。
经过反复排查，我发现问题的核心在于环境配置。Ollama默认安装时虽然会检测CUDA环境，但在离线安装场景下，关键的动态链接库路径和GPU设备可见性设置容易出现配置缺失。具体表现为：
- 启动日志中没有任何关于NVIDIA GPU的识别信息
- 模型推理完全运行在CPU上，速度极慢
- nvidia-smi命令显示GPU处于空闲状态
这种情况在云服务器环境中尤为常见，因为：
- 云服务商提供的GPU实例通常需要额外配置驱动和CUDA环境
- 离线安装时自动依赖解析机制可能失效
- 容器环境下的路径映射问题可能导致库文件找不到
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 完整解决方案实施步骤
2.1 准备工作与文件获取
首先需要准备Ollama的Linux版本安装包。这里特别强调版本匹配的重要性：
- 必须下载与系统架构匹配的版本（amd64/arm64）
- 建议使用官方发布的最新稳定版
- 我实际验证可用的版本是ollama-linux-amd64 v0.1.23
重要提示：不要使用apt/yum等包管理器安装，这会导致文件路径不一致，后续GPU配置可能失效。离线安装能确保所有文件部署到指定位置。
2.2 文件上传与解压处理
将安装包上传到云服务器的临时目录（如/hy-tmp）后，需要规范化解压操作：
bash复制# 创建专用解压目录（避免污染系统空间）
mkdir -p /hy-tmp/ollama_full
# 解压时保留文件权限（-p参数）
tar -zxvf /hy-tmp/ollama-linux-amd64.tgz -C /hy-tmp/ollama_full/
解压后目录结构应包含：
- bin/ollama → 主程序文件
- lib/ollama → 核心依赖库
- resources/ → 模型相关资源
2.3 系统级部署操作
2.3.1 主程序部署
bash复制# 部署到系统