做GPU虚拟化和驱动开发的兄弟,对PF和VF绝对不陌生。这两个缩写经常一起出现,问起来大家也能说上两句:PF是Physical Function,物理功能;VF是Virtual Function,虚拟功能。但你要是真去翻SR-IOV规范,再进KMD(Kernel Mode Driver)源码里走一圈,很多细节就会开始绕:VF的配置空间到底谁初始化?显存是谁分配的?VF发生page fault谁来处理?虚拟机里那个GPU驱动,驱动的到底是个什么东西?
这篇文章是GPU KMD学习专栏的2.3节。我会把PF/VF在GPU里的应用讲成“手把手”级别的实操经验:先讲清楚SR-IOV在GPU里到底解决什么问题,再从KMD视角拆解PF和VF怎么分工,接着走一遍在Linux上拉起PF/VF的真实流程,最后把资源隔离、中断、调度以及我踩过的坑全部整理出来。如果你是做GPU驱动、搞虚拟化平台,或者只是好奇云上那张vGPU是怎么切出来的,这篇都值得读到底。
1. SR-IOV先把概念对齐:PF是“房东”,VF是“租户”
1.1 从PCIe视角看清PF和VF的本质
SR-IOV(Single Root I/O Virtualization)这个标准最早其实是给网卡设计的,目标是让一个物理PCIe设备在硬件层面就能“分身”成多个独立的PCIe设备。在它出现之前,虚拟化环境里要让多个虚机共享网卡,基本都得靠软件在hypervisor层做转发,CPU开销大,延迟也高。SR-IOV的思路特别直接:在设备内部由硬件直接生成一批轻量级“功能”,每个功能对上层软件来说就是一个独立的PCIe设备,有自己的BDF(Bus/Device/Function)、配置空间、BAR、中断能力,可以直接分配给不同的虚机或者容器。数据路径从虚机直接到设备,hypervisor可以靠边站,性能和隔离一下就都上来了。
PF就是这个物理设备上那个完整的功能。它有完整的PCIe配置空间,拥有SR-IOV Capability,负责管理整个设备,包括创建VF、分配资源、处理错误。VF是从PF“派”出来的功能,没有PF那么全的能力,它不能直接管理物理设备层面的资源,而是共享物理GPU里的计算单元、显存、引擎这些硬件资源,能做的操作会被PF严格控制。
拿房子来打比方:整栋楼是物理GPU,PF就是楼里的物业公司,管水电、管门禁、管租户;VF是租出去的房间,租户可以在房间里随心所欲,但改承重墙、改外立面这种事,必须找物业。一个PF可以生成多个VF,具体数量看硬件设计,PCIe规范里用TotalVFs字段给出上限。
这里要特别强调一个容易搞混的点:VF虽然看起来像一个完整的PCIe设备,但它并不是真正的全功能设备。VF没有独立的SR-IOV Capability,很多配置空间字段是只读的,或者直接由PF控制。所以你在虚机里看到的那个“GPU”,本质上是一个受控的硬件视图。KMD代码里对PF和VF的处理逻辑也完全不一样,PF走的是完整的设备管理路径,VF走的是裁剪后的作业提交路径。
1.2 GPU虚拟化演进:为什么绕不开PF/VF
GPU虚拟化其实走了好几步才到今天这个形态。最早最简单的是PCI直通(passthrough):直接把一张物理GPU分配给一个虚机,性能最好,但物理卡只能给一个租户用。大模型训练这种场景,一张卡大几十万,这么搞太浪费,云厂商根本扛不住成本。
后来有了软件模拟,比如virtio-gpu这种纯CPU模拟方案。兼容性好了,但3D能力和CUDA/ROCm这种高性能计算完全没法看,只能当显示设备用,跑AI任务想都别想。
再往后就是硬件辅助虚拟化,典型实现就是SR-IOV,以及和它经常一起出现的mdev(mediated device)框架。NVIDIA的vGPU、AMD的MxGPU、Intel的GVT-g,本质上都是让一张物理GPU在硬件层面拆出多个VF,再把VF包装成可管理的虚拟设备分给多个虚机。这里要严谨一点:Intel的GVT-g严格说走的是mediated passthrough,不是标准SR-IOV,但它对外暴露的设备模型非常类似,NVIDIA vGPU和AMD MxGPU则更依赖SR-IOV。核心思想是一样的:一张物理卡,多个独立设备视图,共享底层硬件。
云厂商卖的那种“XX显卡云主机”,或者大厂把A100切成几份分给不同业
