前几年我调一套分布式存储集群,万兆网卡,链路层跑netperf能到9.4Gbps,看着一切正常。可一换成实际的存储IO路径,CPU直接被协议栈和内存拷贝打满,业务吞吐掉到1Gbps上下,物理链路利用率连10%都不到。当时我盯着监控面板想不通:链路明明是通的,带宽明明有富余,为什么应用就是上不去?后来把问题拆到底,发现根子不在链路,而在“寻址粒度”。这个视角一旦打开,RDMA和传统以太网之间的差距就变得非常清楚了,它直接决定了你系统的性能天花板在哪一层。
先说结论:传统以太网的寻址粒度停留在“主机/网卡”这一级,数据到了网卡之后,还得靠CPU一层一层搬进应用内存;而RDMA的寻址粒度直接杀到了“内存地址”这一级,网卡硬件自己就能完成对远端内存的读写。看似只是一层寻址差异,实际导致的是整个数据通路的重构。这篇文章就按这个逻辑线展开,我会把传统以太网的开销来源、RDMA的寻址机制、性能差距的成因、以及选型时必须付出的代价挨个讲透。
1. 传统以太网的时间都被谁吃掉了:从MAC帧到应用缓冲区的漫漫长路
1.1 寻址链路的终点是“网卡的收包队列”,不是“应用内存”
传统以太网从发端到收端,寻址分三层走。第一层是MAC地址,解决“这个帧在局域网内属于哪块网卡”;第二层是IP地址,解决“这个报文在网络里该往哪个方向路由”;第三层是TCP/UDP端口,解决“这个数据该交给哪个进程”。三层叠加起来,最终定位到的其实是“某台主机上某个进程的某个socket”,也就是我们常说的四元组识别。这套寻址体系本身非常高效,互联网几十亿设备跑了几十年,靠的就是它。但问题是,它寻址的终点是“进程的socket”,而不是“进程内存里的某个具体地址”。
这意味着什么?我用自己的话说就是:数据包被网卡收下来之后,网卡只能根据四元组知道“这个包应该进哪个socket”,但socket背后对应的用户态缓冲区,网卡是不知道的。网卡能做的,只是把数据通过DMA放进内核预先分配好的一个缓冲区里,然后抬起中断告诉CPU:“有数据到了,你自己看着办。”后面的路,全部由CPU和内核来完成。
1.2 三次拷贝和中断:CPU从头到尾当搬运工
传统TCP收包路径,数据要经过三次内存拷贝和至少一次中断处理。我把它拆开写,你就能直观感受到CPU有多忙。
第一次拷贝,网卡通过DMA把数据从链路搬到内核的接收缓冲区,这一步不耗CPU,是硬件完成的。第二次拷贝,内核协议栈解析完报文头,根据四元组找到对应的socket,把数据从内核接收缓冲区拷贝到socket的接收队列。第三次拷贝,应用调用read/recv,数据从socket接收队列被拷贝到用户态的应用缓冲区。
这只是接收方向。发送方向是反过来的,应用调用write/send,CPU把数据从用户态拷贝到内核发送缓冲区,协议栈封包后在某个时刻再让网卡DMA出去。除了拷贝,还有中断。网卡每收一批包就要触发一次中断,中断处理器要保存现场、标记软中断、唤醒等待进程,然后软中断里做协议栈处理。高并发小包场景下,光处理器软中断就能吃满一个核。
我把一次TCP收发的关键开销列出来,大家感受一下:
- 用户态到内核态两次切换(syscall进入和退出)
- 内存拷贝平均两次以上(用户态到内核态、内核态到网卡)
- 一次硬中断加一次软中断处理
- 协议栈处理包括校验和计算、TCP序列号维护、窗口更新、拥塞控制状态机
- 锁竞争:多线程同时读写同一个socket时,还要在socket锁和协议栈锁上排队
