麒麟V10 ARM + T4显卡：从驱动到nvidia-docker的完整环境搭建与验证指南

在国产化技术快速发展的今天，基于ARM架构的麒麟V10操作系统与NVIDIA T4显卡的组合，正成为AI开发与推理领域的新兴选择。不同于传统x86平台，这一组合在性能与能效比上展现出独特优势，但同时也带来了全新的环境配置挑战。本文将系统性地介绍如何在麒麟V10 ARM系统上，从零开始搭建完整的GPU容器化开发环境，涵盖驱动安装、Docker配置到nvidia-docker集成的全流程，并提供详尽的验证方法，确保每个环节都正确无误。

1. 硬件与系统准备

在开始环境搭建前，确保您的硬件和系统满足以下基础要求：

• 硬件配置：

  • NVIDIA T4显卡（16GB显存）
  • 支持ARM架构的服务器（如华为鲲鹏、飞腾等）
  • 至少16GB内存（推荐32GB以上）
  • 100GB以上可用磁盘空间

• 系统环境：

  • 麒麟V10 ARM版操作系统（建议使用最新SP2版本）
  • 已安装基础开发工具包（gcc, make, kernel-headers等）
  • 稳定的网络连接（用于下载驱动和软件包）

验证系统架构：

bash复制uname -m

预期输出应为aarch64，确认系统为ARM架构。

检查内核版本：

bash复制uname -r

麒麟V10 SP2通常使用4.19或更高版本内核，这是驱动兼容的重要前提。

提示：建议在开始前执行sudo yum update -y更新系统，避免因软件包版本问题导致的兼容性错误。

2. NVIDIA驱动与CUDA工具包安装

2.1 驱动安装

NVIDIA T4显卡需要专用驱动支持，在ARM架构上需特别注意版本匹配：

1. 下载驱动包：
   访问NVIDIA官方网站，获取适用于ARM64架构的驱动包（版本560+），文件通常命名为NVIDIA-Linux-aarch64-xxx.xx.run。

2. 安装依赖项：

   bash复制sudo yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r) gcc make
   

3. 禁用Nouveau驱动：

   bash复制echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nouveau.conf
   echo "options nouveau modeset=0" | sudo tee -a /etc/modprobe.d/blacklist-nouveau.conf
   sudo update-initramfs -u
   

4. 安装驱动：

   bash复制chmod +x NVIDIA-Linux-aarch64-xxx.xx.run
   sudo ./NVIDIA-Linux-aarch64-xxx.xx.run
   

5. 验证安装：

   bash复制nvidia-smi
   

   成功执行将显示GPU信息表格，包括驱动版本、CUDA版本和GPU状态。

2.2 CUDA 11.6安装

CUDA工具包为GPU计算提供基础环境：

1. 下载CUDA安装包：
   从NVIDIA官网获取ARM64架构的CUDA 11.6安装包（建议使用rpm网络安装方式）。

2. 安装CUDA：

   bash复制sudo rpm -i cuda-repo-rhel7-11-6-local-11.6.2_510.47.03-1.aarch64.rpm
   sudo yum clean all
   sudo yum install -y cuda-11-6
   

3. 配置环境变量：
   在~/.bashrc中添加：

   bash复制export PATH=/usr/local/cuda-11.6/bin${PATH:+:${PATH}}
   export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
   

   然后执行source ~/.bashrc使配置生效。

4. 验证CUDA：

   bash复制nvcc --version
   

   应显示CUDA 11.6版本信息。

3. Docker环境配置

3.1 安装Docker CE

麒麟V10 ARM版可通过以下步骤安装Docker：

1. 添加Docker仓库：

   bash复制sudo yum install -y yum-utils
   sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
   

2. 安装Docker引擎：

   bash复制sudo yum install -y docker-ce docker-ce-cli containerd.io
   

3. 启动并设置开机自启：

   bash复制sudo systemctl start docker
   sudo systemctl enable docker
   

4. 验证安装：

   bash复制sudo docker run hello-world
   

   成功运行表示Docker基础环境正常。

3.2 配置Docker镜像加速

针对国内网络环境，建议配置镜像加速：

1. 编辑daemon.json：

   bash复制sudo mkdir -p /etc/docker
   sudo tee /etc/docker/daemon.json <<-'EOF'
   {
     "registry-mirrors": [
       "https://mirror.baidubce.com",
       "https://docker.mirrors.ustc.edu.cn"
     ],
     "exec-opts": ["native.cgroupdriver=systemd"],
     "log-driver": "json-file",
     "log-opts": {
       "max-size": "100m"
     }
   }
   EOF
   

2. 重启Docker：

   bash复制sudo systemctl daemon-reload
   sudo systemctl restart docker
   

4. nvidia-docker集成与验证

4.1 安装nvidia-container-toolkit

实现Docker对GPU的支持需要安装nvidia-container-toolkit：

1. 添加NVIDIA仓库：

   bash复制distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
   curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo
   

2. 安装工具包：

   bash复制sudo yum install -y nvidia-container-toolkit
   

3. 配置Docker使用nvidia运行时：
   编辑或创建/etc/docker/daemon.json，确保包含以下内容：

   json复制{
     "default-runtime": "nvidia",
     "runtimes": {
       "nvidia": {
         "path": "/usr/bin/nvidia-container-runtime",
         "runtimeArgs": []
       }
     }
   }
   

4. 重启Docker服务：

   bash复制sudo systemctl restart docker
   

4.2 验证GPU容器化环境

通过实际运行GPU容器验证环境：

1. 拉取测试镜像：

   bash复制docker pull nvcr.io/nvidia/cuda:11.6.2-base-ubuntu20.04
   

2. 运行GPU容器：

   bash复制docker run --rm --gpus all nvcr.io/nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi
   

   成功执行将显示与宿主机相同的GPU信息表格。

3. 深度验证CUDA功能：
   创建一个测试容器并运行CUDA样本程序：

   bash复制docker run -it --rm --gpus all nvcr.io/nvidia/cuda:11.6.2-base-ubuntu20.04 bash
   

   在容器内执行：

   bash复制cd /usr/local/cuda/samples/1_Utilities/deviceQuery
   make
   ./deviceQuery
   

   输出应显示设备查询成功，确认CUDA功能正常。

5. 常见问题排查

在实际部署中可能会遇到以下典型问题：

• 驱动加载失败：

  • 症状：nvidia-smi报错或无法识别GPU
  • 解决方案：
    1. 检查内核版本与驱动是否匹配
    2. 确认已完全禁用Nouveau驱动
    3. 查看dmesg | grep nvidia获取详细错误信息

• CUDA版本不匹配：

  • 症状：容器内CUDA程序无法运行
  • 解决方案：
    1. 确保宿主机CUDA版本≥容器要求的版本
    2. 使用nvcc --version和nvidia-smi交叉验证版本

• 容器无法访问GPU：

  • 症状：容器内nvidia-smi报错
  • 解决方案：
    1. 验证nvidia-container-toolkit安装正确
    2. 检查/etc/docker/daemon.json配置
    3. 确保使用--gpus all参数运行容器

性能调优建议：

• 在/etc/docker/daemon.json中添加：

json复制{
  "default-ulimits": {
    "memlock": {
      "Name": "memlock",
      "Hard": -1,
      "Soft": -1
    }
  }
}

• 对于AI训练任务，建议在容器运行时添加--ipc=host参数