用Rancher轻松管理你的RKE2 GPU集群：保姆级Helm安装与GPU-Operator配置指南

在AI/ML应用爆发式增长的今天，GPU资源的高效管理成为技术团队的核心挑战。传统命令行操作不仅学习曲线陡峭，在多集群、多节点场景下更是容易出错。本文将带你通过Rancher这一企业级Kubernetes管理平台，实现RKE2 GPU集群的可视化管控与自动化部署，让NVIDIA GPU资源像普通计算资源一样简单易用。

1. 环境准备与RKE2集群部署

1.1 操作系统标准化

GPU集群对底层环境的一致性要求极高，推荐使用Ubuntu 22.04 LTS作为基础操作系统。以下关键配置需在所有节点执行：

bash复制# 检查内核版本（推荐5.15+）
uname -r
# 禁用默认驱动
sudo apt purge -y nvidia* && sudo apt autoremove -y
# 安装基础工具链
sudo apt update && sudo apt install -y \
    curl tmux git nfs-common

提示：使用lsb_release -a确认所有节点系统版本完全一致，GPU-Operator对内核版本敏感度极高。

1.2 RKE2 Server离线部署

针对国内网络环境，离线安装可避免镜像拉取失败问题。关键步骤如下：

1. 下载离线包（以v1.30.4为例）：

   • rke2-images.linux-amd64.tar.zst
   • rke2.linux-amd64.tar.gz
   • sha256sum-amd64.txt

2. 部署目录结构：

   bash复制sudo mkdir -p /var/lib/rancher/rke2/agent/images
   sudo mkdir -p /root/rke2-artifacts
   

3. 安装与启动：

   bash复制sudo INSTALL_RKE2_ARTIFACT_PATH=/root/rke2-artifacts sh install.sh
   sudo systemctl enable --now rke2-server.service
   

4. 配置kubectl：

   bash复制mkdir -p ~/.kube
   sudo cp /etc/rancher/rke2/rke2.yaml ~/.kube/config
   sudo chown $(id -u):$(id -g) ~/.kube/config
   

2. Rancher可视化平台集成

2.1 Helm定制化安装

通过以下命令跳过cert-manager快速部署Rancher：

bash复制helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
kubectl create namespace cattle-system
helm install rancher rancher-stable/rancher \
  --namespace cattle-system \
  --set hostname=rancher.yourdomain.com \
  --set ingress.tls.source=secret \
  --set bootstrapPassword=Admin@12345

常见问题处理方案：

2.2 图形化集群导入

在Rancher UI中导入现有RKE2集群只需三步：

1. 登录Rancher控制台，进入集群管理页面
2. 点击导入现有集群，设置集群名称
3. 复制生成的curl命令到RKE2 Server节点执行

注意：导入完成后需在集群仪表盘中检查所有组件状态，确保fleet-agent和cattle-cluster-agent运行正常。

3. GPU-Operator全自动部署

3.1 Helm参数优化配置

针对RKE2环境的特殊配置参数：

bash复制helm upgrade --install gpu-operator nvidia/gpu-operator \
  -n gpu-operator --create-namespace \
  --set operator.defaultRuntime="containerd" \
  --set toolkit.env[0].name=CONTAINERD_CONFIG \
  --set toolkit.env[0].value=/var/lib/rancher/rke2/agent/etc/containerd/config.toml \
  --set toolkit.env[1].name=CONTAINERD_SOCKET \
  --set toolkit.env[1].value=/run/k3s/containerd/containerd.sock

关键组件状态检查：

bash复制watch kubectl get pods -n gpu-operator
# 预期输出应包含：
# gpu-operator-xxxx   1/1     Running
# nvidia-driver-daemonset-xxxx   1/1     Running
# nvidia-container-toolkit-daemonset-xxxx   1/1     Running

3.2 容器运行时深度调优

编辑RKE2的containerd配置模板：

toml复制# /var/lib/rancher/rke2/agent/etc/containerd/config.toml.tmpl
[plugins."io.containerd.grpc.v1.cri".containerd]
  default_runtime_name = "nvidia"
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia]
  runtime_type = "io.containerd.runc.v2"
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.nvidia.options]
    BinaryName = "/usr/local/nvidia/toolkit/nvidia-container-runtime"

重启服务使配置生效：

bash复制sudo systemctl restart rke2-server.service

4. 生产级GPU工作负载管理

4.1 通过Rancher部署GPU应用

在Rancher UI中创建工作负载时，需要特别关注：

• 在资源限制部分添加GPU请求量
• 在高级选项中设置runtimeClassName: nvidia
• 通过节点调度选择带GPU标签的节点

YAML配置示例：

yaml复制resources:
  limits:
    nvidia.com/gpu: 2
  requests:
    cpu: 4
    memory: 16Gi
affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: nvidia.com/gpu.present
          operator: Exists

4.2 监控与告警配置

Rancher集成的监控功能可直观展示GPU指标：

1. 在集群仪表盘启用Monitoring功能
2. 在Grafana中导入ID为12239的NVIDIA GPU仪表盘
3. 设置关键告警规则：
   • GPU内存使用率 > 90%持续5分钟
   • GPU温度 > 85℃持续2分钟
   • XID错误次数 > 0

GPU指标采集原理：

• dcgm-exporter以DaemonSet形式运行
• 通过ServiceMonitor自动发现指标端点
• Prometheus规则每30秒采集一次数据

5. 运维最佳实践与故障排查

5.1 常见问题速查表

5.2 集群升级策略

1. 滚动升级顺序：

   • 先升级Rancher控制平面
   • 再升级RKE2 Server节点
   • 最后处理Worker节点

2. GPU相关组件升级注意事项：

   bash复制helm upgrade gpu-operator nvidia/gpu-operator \
     --reset-values \
     --set driver.version=525.85.12
   

3. 验证步骤：

   • 运行nvidia-smi确认驱动版本
   • 部署测试Pod验证CUDA功能
   • 检查监控数据无异常波动

在实际生产环境中，建议通过Rancher的备份恢复功能定期保存集群状态。对于GPU密集型负载，我们团队发现为每个节点配置GPU健康检查脚本能提前发现硬件异常，典型检查项包括：

bash复制#!/bin/bash
nvidia-smi -q | grep -q "Driver Version" || exit 1
nvidia-smi -q | grep -q "GPU 00000000:00:00.0" || exit 1
nvidia-smi topo -m | grep -q "NV1" || exit 1