从工程效率的角度讲,大多数时候我们根本不需要关心malloc背后做了什么——直到程序的时延曲线出现毛刺、内存占用翻了几倍,或者高并发下锁竞争让吞吐量直接腰斩。我早年做网络服务端的时候,对自定义分配器的态度都是“能用就行”,直到有一次压测发现,仅仅替换分配器就让单机QPS提升了接近三成,从那以后我就养成了一个习惯:凡是生命周期短、分配频繁、尺寸分布集中的模块,我都会认真做一次分配器层面的评估。这篇博文就围绕“自定义分配器性能对比”这个话题,讲讲我在实践中做过的方案选型、实现细节,以及一份可以复用的对比方法,希望对正在调优内存分配路径的同行有些参考价值。
1. 为什么要对分配器动手:先搞清楚默认分配器慢在哪
很多人一听到“自定义分配器”就觉得是造轮子、过度优化。但在动手写代码之前,我更建议大家先搞清楚一件事:系统自带的malloc/new到底在我们关注的场景里慢在什么地方。只有把根因找到了,你才知道该不该做优化、从哪个方向做。
1.1 通用分配器的三个隐藏代价
malloc是通用分配器,通用意味着它对所有类型的负载做折中。它对小对象分配会做内存池和缓存,对大对象会走mmap,同时要处理线程安全。这三件事都不便宜。
第一是管理开销。每次分配,分配器都要在堆上维护元数据:块的大小、使用状态、前后块的指针等。这些元数据通常直接放在分配块的头部或边界处,对小对象来说,元数据占比非常可观。比如你每次只申请16字节,但实际占用的堆空间可能是32字节甚至更多。这样不仅浪费内存,还会增加每次分配时遍历和维护链表的CPU开销。
第二是线程安全。标准分配器必须要处理多线程同时分配的情况。从最开始的全局锁,到后来的线程缓存(Thread Cache)、分区堆(Arena),虽然现代malloc实现已经有很精细的锁粒度,但在极端高并发下,分配热点依然会引发cacheline竞争。实测下来,多线程密集分配时,malloc在单核上的耗时往往比单线程高一个数量级,这个差距在很多性能敏感系统里直接决定了延迟走势。
第三是内存碎片。长时间运行的服务,不同大小的对象穿插分配和释放,堆很容易碎成一片一片。分配器会尝试合并相邻空闲块,但合并不是即时的,碎片一旦产生,分配器可能要遍历空闲链表查找合适的块,最坏情况是每次分配都走一次近似线性的扫描,时延自然就上去了。这也是为什么有些程序跑着跑着性能越来越差、重启以后又恢复的原因之一。
1.2 什么场景才值得做自定义分配器
搞清楚通用分配器的成本之后,我们还要明确:自定义分配器不是银弹,用错场景反而不划算。我总结了一下,适合自定义分配器的场景主要有这么几类:
- 分配频率极高且对象生命周期极短。比如网络请求的解析、消息队列的处理、游戏引擎每帧的临时对象,这些对象的存活时间往往只有几十微秒甚至更短,走通用分配器意味着频繁的锁竞争和元数据操作。
- 对象尺寸高度集中。比如你确定系统中只会分配256字节和1024字节两种块,那完全可以做两个固定大小的对象池,分配和释放都是O(1)操作。
- 需要批量回收。典型的如游戏场景的“关卡制”,把一整个场景的对象放在一个内存池里,场景销毁时一次性释放整块内存,完全不需要逐个释放。
- 对时延有严格上限。通用分配器在碎片化严重时会出现不可预测的长尾时延,而定制分配器可以通过结构设计把最大耗时控制在常数范围内。
如果需求都是长生命周期、尺寸差距很大的大对象,那自定义分配器带来的收益就非常有限,还得承担额外的复杂度和调试成本,我一般建议不要做。
1.3 自定义分配器到底要解决什么核心矛盾
本质上来讲,分配器的核心矛盾就两个:分配速度和内存使用效率。速度上,我们希望一次分配不经历系统调用、不碰锁、不做复杂遍历;效率上,我们希望内存池本身不要太大,避免浪费。
我之前做过一个对象池,一开始为了追求极致的分配速度,给每个线程预分配了很大的缓存空间,结果实测下来内存占用翻了三倍,被运维同学找上门来。从那以后我的习惯是:任何分配器改造都必须有内存维度的统计,不能只盯着分配耗时看。说实话,在内存不吃紧的机器上稍微浪费一点内存换速度没问题,一旦内存成为瓶颈,这种“速度幻觉”就会变成线上故障。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 分配器实现方案选型:从对象池到线程独享缓存
选型这件事没有标准答案,但有几个常见的实现方向,理解它们的适用边界和取舍,才能对后续的性能对比有个底。我也把几个方案的差异整理成了对照,方便按需选择。
2.1 固定大小对象池:最简单的常驻式分配
对象池的思路很好理解:预分配一大块内存,按固定大小切分成槽位,空闲槽位用链表串起来。分配时从链表头部弹出一个槽位,释放时把槽位塞回链表头部,两个操作都是O(1)。
这个方案适用于对象尺寸非常固定的场景。比如我在消息系统里给协议缓冲(protobuf)对象建过池子,每条消息对象的大小是编译期就确定的,用对象池非常合适。
实现的时候有个细节值得注意:空闲链表的指针存放在槽位内部,因为空闲槽位的“内容”用不上,存前一个空闲位置完全没问题。也就是说,堆内存本身既是存储对象的内存,又是空闲链表的载体,不再需要额外的空闲节点结构。这样能省掉一部分内存开销——虽然每个槽位里存一个指针(8字节)仍然算是额外开销,但比单独维护一个节点结构要省得多。
核心代码逻辑很简单:
c复制typedef struct objpool_block {
size_t size; /* 槽位大小 */
size_t capacity; /* 槽位数量 */
unsigned char* slots; /* 槽位内存起始地址 */
void* free_head; /* 空闲链表的头指针 */
struct objpool_block* next; /* 用于挂多个内存块 */
} objpool_block;
void* objpool_alloc(objpool_block* pool) {
if (pool->free_head == NULL) {
return NULL; /* 所有槽位用完 */
}
void* obj = pool->free_head;
pool->free_head = *(void**)obj;
