1. VCF 9.0 与 TEP MTU 验证:先理清这条检查到底在查什么
1.1 项目背景
VCF 9.0(VMware Cloud Foundation 9.0)是 VMware 把 vSphere、vSAN、NSX 和 SDDC Manager 打包在一起的超融合与管理平台,主打的是“从裸金属到工作负载”的全栈自动化交付。装过的人都知道,VCF 部署远不止把几个 OVA 导进去这么简单,SDDC Manager 在 bring-up 阶段会做一大堆预检查,任何一项不通过都会直接卡住安装流程。
我这次遇到的,就是 ESX 主机上的 TEP 验证失败,报错指向 MTU 不足 1600。这类报错在企业内网环境中非常典型:底层物理网络是标准的 1500 MTU 接入,ESX 主机上所有 VMkernel 和端口组也都是默认 1500,结果 SDDC Manager 一检查就红了。报错信息本身不会告诉你“该去哪里改”,只会抛出一个抽象的网络路径问题,第一次见的人基本都会懵。
这篇文章适合正在部署 VCF 9.0 或者准备做 VCF 评估的运维工程师,尤其是负责底层网络和 ESX 主机配置的兄弟。文章会把这条验证的逻辑讲透,再给出一套从“查”到“改”再到“验证”的完整流程,保证你照着操作能顺利把这一步跨过去。
1.2 TEP 到底是什么
TEP 的全称是 Tunnel Endpoint,翻译过来就是隧道端点。在 NSX-T 的架构里,Geneve 隧道是承载 overlay 流量的核心机制,而 TEP 就是每台传输节点(也就是 ESX 主机)上负责收发 Geneve 封装包的那个逻辑接口。
你可以把 TEP 理解成快递收发点:所有虚机之间的东西向流量,都会被封装成 Geneve 格式,然后通过 TEP 发送到物理网络上。TEP 在 ESX 主机上通常表现为一个专用 VMkernel 网口,它的 IP 地址来自独立的 TEP 网段,这个网段专门用于 NSX overlay 流量。
既然 TEP 是隧道端点,它就必须考虑封装开销。Geneve 头部标准是 8 字节,加上 UDP 头部 8 字节、IP 头部 20 字节,再算上外层以太网帧头,封装后整包会比原始虚机数据包大出不少。如果两端协商的 MTU 不够,大包就会被丢弃,或者被迫分片,而分片对于隧道流量来说是大忌,会直接导致性能下降甚至通信中断。
1.3 为什么偏偏卡在 1600
VCF 9.0 的检查要求 TEP 接口 MTU 不低于 1600,而不是很多人习惯的 1500 或者 9000,这里面的数字是有讲究的。
虚拟机的标准 MTU 是 1500。当流量从虚拟机发出,经过 vSwitch 进入 TEP 时,NSX 会加上 Geneve 封装,整体长度就从 1500 涨到了大约 1600 以内。为了保证封装后不需要分片,物理链路的 MTU 必须至少覆盖整个封装包的长度。1600 这个数值就是在标准 1500 基础上,预留了 Geneve 封装的最大开销空间。
注意:这里有一个容易踩坑的点。很多人一看到“MTU 要大”,就直接往 9000 上设,觉得越大越好。但 VCF 检查逻辑和实际物理网络往往不支持 9000 的端到端透明传输,盲目设 9000 反而会引发其它一连串问题,比如 TLS 超时、vMotion 故障、存储性能异常。正确的目标值就是 1600,不多不少。
这套逻辑和餐桌铺桌布很像:菜盘直径算的是数据帧长度,桌布尺寸
