莱夢1. 项目概述
最近在部署本地大语言模型时，发现Ollama结合GPU加速的方案特别实用。作为一个经常折腾AI工具的开发者，我想分享下如何用docker-compose快速搭建支持GPU加速的Ollama环境。这个方案最大的优势是能避免复杂的驱动安装过程，实现开箱即用的GPU加速。
Ollama是一个优秀的本地大模型运行框架，而docker-compose则能帮我们轻松管理容器化部署。当两者结合GPU加速时，可以显著提升模型推理速度。下面我会详细介绍从环境准备到最终部署的完整流程，包括我在实际操作中踩过的坑和优化技巧。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备
2.1 硬件要求
要运行GPU加速的Ollama，首先需要确认你的硬件配置：
- NVIDIA显卡（建议RTX 2060及以上）
- 至少8GB显存（运行7B模型的最低要求）
- 16GB以上系统内存
注意：AMD显卡目前不支持CUDA加速，只能使用CPU模式运行
2.2 软件依赖
在开始前，请确保已安装以下组件：
- Docker Engine 20.10+
- NVIDIA Container Toolkit
- docker-compose v2.0+
安装NVIDIA Container Toolkit的步骤：
bash复制# 添加NVIDIA官方仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
# 安装工具包
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
验证安装：
bash复制docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
3. docker-compose配置
3.1 基础配置
创建docker-compose.yml文件：
yaml复制version: '3.8'
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
environment:
- NVIDIA_VISIBLE_DEVICES=all
volumes:
- ./ollama_data:/root/.ollama
ports:
- "11434:11434"
restart: unless-stopped
关键参数说明：
capabilities: [gpu]：启用GPU支持NVIDIA_VISIBLE_DEVICES=all：使容器能访问所有GPU- 数据卷映射确保模型持久化存储
3.2 国内镜像加速
对于国内用户，可以通过配置镜像源加速下载：
yaml复制environment:
- OLLAMA_HOST=0.0.0.0
- OLLAMA_ORIGINS=*
- OLLAMA_NO_CUDA=0
- OLLAMA_MODELS_SOURCE=https://mirror.example.com/ollama/models
4. 部署与使用
4.1 启动服务
bash复制docker-compose up -d
首次启动会自动下载基础镜像，这个过程可能需要较长时间（约5-10分钟，取决于网络）。
4.2 模型管理
常用操作命令：
bash复制# 拉取模型（如llama2）
docker exec -it ollama ollama pull llama2
# 查看已安装模型
docker exec -it ollama ollama list
# 运行模型
docker exec -it ollama ollama run llama2
4.3 性能监控
查看GPU使用情况：
bash复制docker exec -it ollama nvidia-smi
5. 常见问题解决
5.1 GPU驱动问题
如果遇到"a d3d11-compatible gpu is required"错误，通常是驱动不兼容导致。解决方法：
- 确认已安装最新NVIDIA驱动
- 检查CUDA版本兼容性
- 重启docker服务
5.2 下载速度慢
对于国内用户，可以尝试以下方法：
- 使用国内镜像源
- 预先下载模型文件后手动导入
- 设置HTTP代理
手动导入模型示例：
bash复制docker cp local_model_file ollama:/root/.ollama/models
docker exec -it ollama ollama create -f /root/.ollama/models/model_file
5.3 显存不足
当遇到显存不足时，可以：
- 使用量化版本模型（如llama2-7b-q4）
- 调整模型参数减少显存占用
- 限制GPU使用数量
修改docker-compose.yml限制GPU数量：
yaml复制devices:
- driver: nvidia
count: 1 # 只使用1块GPU
capabilities: [gpu]
6. 高级配置
6.1 多GPU分配
如果有多个GPU，可以指定使用特定设备：
yaml复制environment:
- NVIDIA_VISIBLE_DEVICES=0,1 # 只使用第0和第1块GPU
6.2 模型微调
要在容器内进行模型微调，需要挂载数据集并分配更多资源：
yaml复制volumes:
- ./training_data:/data
deploy:
resources:
reservations:
memory: 32G
devices:
- driver: nvidia
count: 2
capabilities: [gpu]
6.3 安全配置
生产环境建议添加认证：
yaml复制environment:
- OLLAMA_ORIGINS=https://yourdomain.com
- OLLAMA_HOST=127.0.0.1
7. 性能优化技巧
- 批处理请求：合并多个推理请求可以减少GPU空闲时间
- 模型量化：使用4-bit或8-bit量化模型可显著减少显存占用
- 持久化模型：将常用模型预加载到内存中
- 温度控制：监控GPU温度，必要时添加散热措施
查看模型运行状态：
bash复制docker exec -it ollama ollama ps
调整模型运行参数示例：
bash复制docker exec -it ollama ollama run llama2 --num_ctx 4096 --temperature 0.7
我在实际使用中发现，通过docker-compose管理Ollama服务最大的优势是环境隔离和便捷的GPU资源配置。特别是在团队协作时，可以确保每个成员都使用完全相同的运行环境，避免"在我机器上能跑"的问题。