写这篇文章是因为我实际遇到过一个很典型的场景:某个算法的逻辑已经精简得不能再精简了,压栈、循环展开、内存池都上了,但性能始终卡在某个数值上不去。后来用 perf 一看,CPU 的计算单元大量空闲,内存控制器却早已饱和。这就是典型的 Memory-Bound(内存受限)问题。当时我沿着数据写入路径追下去,发现一个常被忽略的瓶颈:普通 store 指令的写入分配(Write Allocate)行为,会在不知不觉中让内存带宽白白浪费一半。把 _mm_stream_si128 这类流式写入(Streaming Store)换上之后,同样的代码运行时间有了肉眼可见的下降。这篇文章就把这条优化路径从头到尾拆开讲清楚。
_mm_stream_si128 是 SSE2 里的一条非临时存储(Non-Temporal Store)指令,专门用于绕过 CPU 缓存层次结构、直接向内存发起写入。它解决的不是"计算慢",而是"内存访问模式不合理"导致的带宽浪费。本文适合正在做底层性能调优、研究 SIMD 优化、或者被大数据集处理速度折磨的开发者阅读。
1. 内存受限的核心矛盾:CPU 在等内存,而不是内存被算满
1.1 先判断你的算法到底是不是 Memory-Bound
很多朋友一上来就写 SIMD 版本,其实第一步应该先判断瓶颈类型。内存受限类算法有一个非常直观的特征:单位数据处理所需的计算量极低。比如大规模数组清零、数据拷贝、像素填充、灰度图二值化、内存池批量初始化,这些操作每个元素平均不到一次算术运算,却要读写大量字节。
判断方法不复杂。用性能工具采样一次,如果 CPU 的算术逻辑单元利用率很低、绝大部分时间卡在内存子系统请求上,LLC(Last-Level Cache)Miss 率又很高,基本就可以认定是 Memory-Bound。我习惯用 Intel VTune 里的 Memory Access 分析,或者直接看 perf stat 输出的 LLC-load-misses 和 offcore_response 指标。当有效内存带宽接近理论峰值、同时 CPI 高得离谱时,计算已经不是瓶颈了,你优化循环展开收益也很有限,真正该优化的是访存路径本身。
还有更简单的经验判断:当数据规模明显大于 LLC 容量时,算法运行时间随数据量线性增长;把数据规模缩小到能够完全放进 L2 时,同样的代码能快上几倍甚至十几倍。这个落差越大,说明越依赖内存带宽。
1.2 常规存储指令的隐藏成本:缓存写入分配
问题藏在普通 store 的硬件行为里。x86 的缓存一致性协议采用写回(Write-Back)策略,CPU 执行一条 movntdq 或 movdqa 存储指令时,如果目标地址不在 L1 Cache 中,硬件并不会直接把数据送到内存,而是先发起一个读所有权请求(Read For Ownership, RFO),把对应缓存行完整地从内存读到 L1,然后修改该缓存行,标记为脏,等将来逐出时才把整行写回内存。
对于"完整覆盖整块缓存行"的写入场景,这次 RFO 是完全多余的。你本来就要把这一整行 64 字节全部覆盖,为什么还要先把它从内存读一遍?这就等于一次写入操作实际占用了一次读和一次写的带宽。在内存带宽接近饱和时,50% 的额外读开销会直接让有效吞吐量腰斩,尤其在大规模 memset、图像填充这类数据拷贝量大的例程里,影响极其明显。
以 64 字节缓存行为例:普通 store 写 64 字节,内存控制器实际完成的工作是读 64 字节加写 64 字节。而流式存储只写 64 字节,无需预读。内存控制器吞吐量不变的情况下,有效写带宽可以提升将近一倍。
1.3 经典例子:你以为 memset 已经足够快了吗
我最早意识到这个问题,是在优化一段批量初始化内存的代码。原始版本就是最普通的 for 循环赋值,后来换成了 SSE 的 _mm_store_si128,但性能并没有比编译器自动向量化好太多。数据量是 512MB,我的测试机内存带宽大约 25GB/s 的读取水平。理论上 memset 512MB 只需要约 20ms,但实测普通 SSE store 版本始终在 30ms 附近徘徊。
问题不在算力,而在 RFO。目标缓存行不在缓存里,每次 _mm_store_si128 触发读分配,内存控制器背地里多读了一次同样的数据。后来把 _mm_store_si128 换成 _mm_stream_si128,时间立刻降到 22ms 左右。这条指令不申请缓存行、不发起 RF
