东予薏米1. 为什么需要监控GPU指标？
在深度学习、科学计算和图形处理等高性能计算场景中，GPU资源监控已成为系统管理员和运维工程师的刚需。不同于CPU监控的成熟方案，GPU指标监控往往需要特殊处理，主要原因有三：
首先，GPU的架构特性决定了其监控方式与CPU完全不同。NVIDIA GPU通过特有的驱动接口暴露性能数据，传统监控工具无法直接获取这些信息。我在实际运维中发现，许多团队仍然通过人工登录服务器执行nvidia-smi命令来查看GPU状态，这种方式既低效又难以形成历史趋势分析。
其次，GPU资源的使用特征与CPU存在显著差异。一个典型的例子是显存（GPU Memory）管理：当深度学习框架分配显存时，即使实际使用率不高，框架也倾向于占满可用显存。这使得仅凭显存占用率判断GPU负载会得出错误结论，必须结合SM（Streaming Multiprocessor）利用率等核心指标综合判断。
最后，GPU故障的表现形式更为隐蔽。我曾遇到一个案例：某台服务器的GPU温度看似正常，但实际计算性能下降了40%。后来通过监控GPU的ECC错误计数才发现是显存出现了间歇性错误。这种问题如果没有完善的监控体系，往往要等到模型训练完全失败才会被发现。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与依赖安装
2.1 硬件与基础软件要求
要实现完整的GPU监控，需要确保环境满足以下条件：
- NVIDIA显卡：支持CUDA的Tesla、Quadro或GeForce系列
- 操作系统：Ubuntu 18.04/20.04/22.04 LTS（本文以22.04为例）
- 已安装Zabbix Server 5.0及以上版本
- 目标主机已安装Zabbix Agent 2
重要提示：务必先确认nvidia-smi命令可以正常执行，这是所有监控数据的基础来源。如果命令报错，通常需要重新安装驱动或配置环境变量。
2.2 NVIDIA驱动与CUDA工具包安装
虽然Ubuntu的默认仓库包含NVIDIA驱动，但建议使用官方源获取最新版本：
bash复制# 添加官方GPU驱动PPA
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
# 安装驱动和基础工具（以515版本为例）
sudo apt install -y nvidia-driver-515 nvidia-utils-515
# 安装CUDA工具包（可选但推荐）
sudo apt install -y nvidia-cuda-toolkit
安装完成后，验证驱动状态：
bash复制nvidia-smi
正常输出应包含GPU型号、驱动版本和运行进程信息。
2.3 Zabbix Agent配置优化
默认的Zabbix Agent配置需要调整以支持自定义监控项：
bash复制sudo vim /etc/zabbix/zabbix_agentd.conf
关键参数修改：
code复制# 启用自定义脚本执行
AllowRoot=1
UnsafeUserParameters=1
# 自定义监控项配置目录
Include=/etc/zabbix/zabbix_agentd.d/*.conf
重启服务使配置生效：
bash复制sudo systemctl restart zabbix-agent
3. 监控指标采集方案设计
3.1 核心监控指标解析
通过分析nvidia-smi的输出，我们可以提取以下关键指标：
| 指标类别 | 具体指标 | 采集命令示例 | 单位 |
|---|---|---|---|
| 基础信息 | GPU名称 | nvidia-smi --query-gpu=name --format=csv | - |
| 利用率 | GPU利用率 | nvidia-smi --query-gpu=utilization.gpu --format=csv | % |
| 显存 | 已用显存 | nvidia-smi --query-gpu=memory.used --format=csv | MiB |
| 温度 | GPU当前温度 | nvidia-smi --query-gpu=temperature.gpu --format=csv | ℃ |
| 功耗 | 当前功耗 | nvidia-smi --query-gpu=power.draw --format=csv | W |
| 错误计数 | ECC错误 | nvidia-smi --query-gpu=ecc.errors.corrected --format=csv | 次 |
3.2 数据采集脚本开发
创建采集脚本/etc/zabbix/scripts/gpu_monitor.sh：
bash复制#!/bin/bash
# 参数检查
if [ $# -ne 1 ]; then
echo "Usage: $0 <metric>"
exit 1
fi
# 根据传入参数获取不同指标
case $1 in
"gpu_util")
nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader,nounits | awk '{print $1}'
;;
"mem_used")
nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits | awk '{print $1}'
;;
"temperature")
nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader,nounits
;;
*)
echo "Unsupported metric: $1"
exit 1
;;
esac
给脚本添加执行权限：
bash复制sudo chmod +x /etc/zabbix/scripts/gpu_monitor.sh
3.3 Zabbix Agent配置
创建监控项配置文件/etc/zabbix/zabbix_agentd.d/gpu.conf：
code复制UserParameter=gpu.utilization[*], /etc/zabbix/scripts/gpu_monitor.sh gpu_util
UserParameter=gpu.memory.used[*], /etc/zabbix/scripts/gpu_monitor.sh mem_used
UserParameter=gpu.temperature[*], /etc/zabbix/scripts/gpu_monitor.sh temperature
4. Zabbix Server端配置
4.1 创建GPU监控模板
- 登录Zabbix Web控制台
- 进入"Configuration" → "Templates"
- 点击"Create template"
- 填写基本信息：
- Template name: "GPU Monitoring by NVIDIA"
- Groups: "Templates"
4.2 添加监控项
为模板添加以下监控项示例：
| Name | Key | Type | Units | Update interval |
|---|---|---|---|---|
| GPU Utilization | gpu.utilization | Zabbix agent | % | 1m |
| GPU Memory Used | gpu.memory.used | Zabbix agent | MiB | 1m |
| GPU Temperature | gpu.temperature | Zabbix agent | ℃ | 1m |
4.3 配置图形与触发器
创建图形展示GPU关键指标：
- 在模板页面选择"Graphs"标签
- 点击"Create graph"
- 设置图形名称如"GPU Metrics Overview"
- 添加以下监控项：
- GPU Utilization (作为Y轴左侧)
- GPU Temperature (作为Y轴右侧)
配置关键触发器：
code复制# GPU高温告警
Name: GPU temperature too high
Expression: {GPU Monitoring by NVIDIA:gpu.temperature.last()}>85
Severity: High
5. 高级监控方案实现
5.1 多GPU服务器支持
对于配备多块GPU的服务器，需要修改采集脚本以支持索引：
bash复制#!/bin/bash
GPU_INDEX=${2:-0} # 默认为第一块GPU
case $1 in
"gpu_util")
nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader,nounits --id=$GPU_INDEX | awk '{print $1}'
;;
# 其他指标类似...
esac
对应调整Zabbix Agent配置：
code复制UserParameter=gpu.utilization[*], /etc/zabbix/scripts/gpu_monitor.sh gpu_util $1
5.2 进程级GPU监控
通过nvidia-smi可以获取进程级别的GPU使用情况：
bash复制nvidia-smi pmon -c 1
输出示例：
code复制# gpu pid type sm mem enc dec command
# Idx # C/G % % % % name
0 12345 C 45 32 0 0 python3
可以扩展监控脚本捕获这些信息，帮助定位具体进程的资源占用。
5.3 使用NVML库直接采集
对于更专业的监控需求，可以考虑使用NVIDIA Management Library (NVML)开发定制采集程序。以下是Python示例：
python复制from pynvml import *
nvmlInit()
handle = nvmlDeviceGetHandleByIndex(0)
# 获取GPU利用率
util = nvmlDeviceGetUtilizationRates(handle)
print(f"GPU Util: {util.gpu}%")
# 获取显存信息
mem = nvmlDeviceGetMemoryInfo(handle)
print(f"Memory Used: {mem.used/1024/1024} MiB")
这种方法性能更好，但需要额外安装Python包：
bash复制pip install nvidia-ml-py3
6. 常见问题排查与优化
6.1 权限问题解决方案
在实际部署中，Zabbix Agent通常以zabbix用户运行，而nvidia-smi需要root权限。有三种解决方案：
-
设置sudo免密码（不推荐）：
bash复制echo "zabbix ALL=(ALL) NOPASSWD: /usr/bin/nvidia-smi" | sudo tee /etc/sudoers.d/zabbix_gpu -
修改脚本所有者并设置capability（推荐）：
bash复制sudo chown root:zabbix /etc/zabbix/scripts/gpu_monitor.sh sudo chmod 750 /etc/zabbix/scripts/gpu_monitor.sh sudo setcap cap_sys_admin+ep /usr/bin/nvidia-smi -
修改Zabbix Agent运行用户（权衡方案）：
bash复制sudo systemctl edit zabbix-agent添加：
code复制[Service] User=root Group=root
6.2 数据采集间隔优化
GPU指标变化较快，但过于频繁的采集会影响系统性能。建议采用以下策略：
- 基础指标（利用率、温度）：1分钟间隔
- 次要指标（ECC错误、功耗）：5分钟间隔
- 进程级监控：15分钟间隔
可以通过Zabbix的灵活间隔功能实现：
code复制UserParameter=gpu.detailed[*], /etc/zabbix/scripts/gpu_monitor.sh $1 $2
Update interval: 1m
Custom intervals:
- Weekdays 09:00-18:00: 30s
- Weekends: 5m
6.3 指标数据预处理
原始GPU数据有时需要转换才能更有价值。例如，显存使用率计算：
bash复制#!/bin/bash
TOTAL_MEM=$(nvidia-smi --query-gpu=memory.total --format=csv,noheader,nounits | awk '{print $1}')
USED_MEM=$(nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits | awk '{print $1}')
echo "scale=2; $USED_MEM/$TOTAL_MEM*100" | bc
这样可以直接得到百分比形式的显存使用率，更符合监控习惯。
7. 监控面板与告警配置
7.1 Grafana集成展示
将Zabbix数据接入Grafana可以创建更直观的监控面板：
-
安装Zabbix插件：
bash复制
grafana-cli plugins install alexanderzobnin-zabbix-app -
配置数据源时，确保选择"Zabbix"类型
-
创建面板时，可以使用以下查询示例：
code复制group("GPU Monitoring by NVIDIA") item("gpu.utilization")
7.2 智能告警规则
除了基本的阈值告警，还可以配置更智能的规则：
-
GPU利用率突降检测（可能表示进程崩溃）：
code复制change(/GPU Monitoring by NVIDIA/gpu.utilization) < -50 -
显存泄漏检测（持续增长模式）：
code复制trend(/GPU Monitoring by NVIDIA/gpu.memory.used,1h) > 100 -
风扇异常检测（温度升高但风扇转速不变）：
code复制(rate(/GPU Monitoring by NVIDIA/gpu.temperature) > 2) and (abs(change(/GPU Monitoring by NVIDIA/gpu.fan.speed)) < 5)
7.3 性能基准测试
建立GPU性能基准有助于发现潜在问题：
bash复制# 运行压力测试
sudo apt install stress-ng
stress-ng --gpu 1 --timeout 60
# 记录峰值指标
MAX_UTIL=$(nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader,nounits | awk '{print $1}')
echo "Peak GPU Utilization: $MAX_UTIL%"
将基准数据存入Zabbix，可以作为后续性能对比的参考。