服务器CPU拓扑架构与Linux调度优化实战

1. 服务器CPU拓扑架构基础认知

现代服务器CPU早已不是简单的单核或多核概念，我们需要从物理拓扑层面理解处理器的真实工作形态。以双路E5-2680 v4服务器为例，打开机箱你会看到两颗物理CPU通过QPI总线相连，每颗CPU内部包含14个物理核心，通过环形总线（Ring Bus）互连。这种物理布局直接决定了操作系统调度器看到的世界观。

关键提示：CPU拓扑信息在Linux系统中可以通过lstopo命令可视化呈现，这张拓扑图就是调度器眼中的"战场地图"。

NUMA（Non-Uniform Memory Access）架构是现代服务器的标配设计。在2P服务器中，每个物理CPU构成一个NUMA节点，节点内内存访问延迟约100ns，跨节点访问则可能高达300ns。这种差异在内存密集型应用中会带来显著的性能波动：

code复制Node 0 (CPU 0-13)
  |- 本地内存：64GB
  |- 远端内存：64GB (需通过QPI访问Node1)
Node 1 (CPU 14-27)
  |- 本地内存：64GB
  |- 远端内存：64GB (需通过QPI访问Node0)

2. Linux调度器与拓扑感知机制

Linux内核的CFS（Completely Fair Scheduler）调度器默认的调度周期是6ms（对应内核参数/proc/sys/kernel/sched_latency_ns），但这个值会根据运行任务数动态调整。在NUMA环境中，调度器需要额外考虑：

1. 负载均衡单元：现代调度器以LLC（Last Level Cache）域为基本平衡单元。比如在Xeon Scalable处理器中，一个LLC域通常对应1个物理核心及其超线程

2. NUMA亲和性：通过sched_setaffinity()设置的CPU亲和性会与NUMA内存策略交互。当线程被调度到非首选NUMA节点时，可能触发自动内存迁移

3. Wake-Affinity策略：当唤醒休眠线程时，调度器会优先选择上次运行的CPU核心，这对缓存命中率至关重要

实测案例：在MySQL数据库服务器上，通过numactl --cpunodebind=0 --membind=0绑定NUMA节点后，TPS从15,000提升到21,000