1. 缓存淘汰问题是怎么冒出来的:两个真实场景
先说一个我早年间踩过的坑。当时给一个报表系统做数据层优化,把热数据放进了 Redis,内存配了 512MB。上线跑了两周一切正常,直到月底财务跑批量对账,内存突然被打满,Redis 开始疯狂换页,最终 OOM 崩了。我当时的第一个念头是"内存不够,加内存就完事了",于是扩容到 2GB。结果三个月后同样的问题再次出现。
后来复盘时,我才意识到问题根本不在容量,而在于我根本没有定义"什么数据值得留在缓存里"。缓存空间永远是有限的,但访问模式是动态的。当缓存满了,到底淘汰谁、保留谁?这个决策策略,就是缓存淘汰算法。用错了策略,再大的内存也会被垃圾数据占满。
类似的问题在 MySQL 的 Buffer Pool 里也天天发生。InnoDB 从磁盘读数据页时,会先把页放到 Buffer Pool 里,这个缓冲池默认是 128MB(新版本默认值更大)。你把一张 10GB 的表全表扫描一遍,Buffer Pool 里就全是扫描过的数据页,真正高频访问的页反而被挤出去了。下一次查询热点数据,又要重新走磁盘,性能瞬间打回原形。
所以缓存淘汰算法要解决的核心问题永远是同一个:用有限的存储空间,尽可能提高命中率。而 LRU(Least Recently Used,最近最少使用)和 LFU(Least Frequently Used,最不经常使用)是其中应用最广、也最值得深入理解的两个算法。这篇文章我会先用图解把原理拆清楚,再给出完整的 Go 语言实现,最后聊聊实际工程里它们是怎么被改造成"可用版本"的。无论你是面试准备、还是要在自己的服务里手写缓存,这篇文章都能直接参考。
先把两个概念用一句话说清楚,方便后面展开:
- LRU:淘汰最久没被访问的数据。它假设"过去被访问过的数据,未来大概率还会被访问",而且最近被访问的数据比很久以前被访问的数据更可能被再次访问。
- LFU:淘汰被访问次数最少的数据。它假设"被访问次数多的数据,未来也会被频繁访问"。
这两个假设听起来都很合理,但它们暗含的淘汰逻辑是相反的:LRU 看的是"时间维度",LFU 看的是"频率维度"。理解这个差异,你就会知道为什么有些场景 LRU 表现优秀,换到另一个场景就一塌糊涂。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LRU 图解与 Go 实现:哈希表加双向链表为什么是绝配
2.1 先图解 LRU 的结构设计
LRU 最经典的实现结构是 哈希表 + 双向链表。很多教程上来就丢代码,但从不解释"为什么非要用这两个结构组合"。我换个方式讲。
先给一个容量为 3 的缓存,依次访问数据 A、B、C,此时链表状态是:
code复制头 -> C -> B -> A -> 尾(尾端是最久没被访问的)
如果这时再访问一次 B,B 会被移动到头部:
code复制头 -> B -> C -> A -> 尾
如果继续访问 D,缓存满了,就需要淘汰尾部的 A:
code复制头 -> D -> B -> C -> 尾
整个过程就两件事:
- 访问一个已存在的 key:把它从链表里摘下来,放到链表头部(代表"最近刚用过")。
- 插入一个新 key 且缓存已满:先删除链表尾部的节点,再把新节点放到链表头部。
这里有个关键点:链表的访问、删除、插入操作,如果是普通链表,找到对应节点得遍历,复杂度是 O(n)。但配上哈希表,情况完全变了——哈希表的 value 直接存链表节点的指针,这样链表的 find 可以做到 O(1)。而链表的摘除和头部插入也只需要调整几个指针,同样是 O(1)。一组合,整个 LRU 的读写复杂度都降到了 O(1),这就是这个组合被称为"绝配"的原因。
我画一张简单的结构图,方便你对照代码理解:
code复制+----------------+ +------------+ +------------+
| hash map | | head | | tail |
| key -> *node | | (虚拟头) | | (虚拟尾) |
+----------------+ +------------+ +------------+
| "A" -> node1 | ---> | next: node1| <---> | prev: node3|
| "B" -> node2 | +------------+ +------------+
| "C" -> node3 | +------------+ +------------+
+----------------+ | node1 | <---> | node3 |
| key: "A" | | key: "C" |
| value: 1 | | value: 3 |
+------------+ +------------+
+------------+
| node2 |
| key: "B" |
| value: 2 |
+------------+
注意图里 head 和 tail 我用的是虚拟节点。这个设计不是强迫症,而是为了省掉大量"判断头尾为空"的分支逻辑。如果链表为空,普通实现里你要先判断 head 是否为 nil 才能决定怎么插入;有了虚拟头尾节点,所有插入删除都是同样的指针操作,代码会简洁不少。
2.2 Go 语言实现 LRU
直接上代码。我用 Go 标准库里的 container/list 来实现双向链表,因为它内部就是 list.Element 结构,MoveToFront、Remove 这些接口都封装好了,不用自己维护一堆指针。
go复制package lru
import (
"container/list"
"sync"
)
type Cache struct {
mu sync.Mutex
capacity int
items map[string]*list.Element
list *list.List
}
type entry struct {
key string
value interface{}
}
