Pinxian Li1. 为什么需要布隆过滤器？
在分布式系统中，数据去重是一个高频需求场景。想象一下，你运营着一个日活千万的内容平台，每天有数百万用户发布新内容。如何快速判断某条内容是否已经存在？传统方案有两种：
-
数据库查询法：每次写入前先SELECT检查是否存在
- 问题：高并发下数据库压力巨大，性能瓶颈明显
- 实测：MySQL在1000QPS时延迟已达15ms，无法满足实时需求
-
全量缓存法：把所有已存在记录的ID加载到Redis Set
- 问题：1亿条记录占用约5GB内存，成本过高
- 示例：存储1亿个64位ID需要 100,000,000 * 8 bytes ≈ 762MB
而布隆过滤器以不到1%的内存消耗（约7.6MB），就能实现99.9%准确率的去重判断。这就像给系统入口安排了一位"智能门卫"——它可能偶尔误放一个访客（假阳性），但绝不会错误阻拦已登记人员（无假阴性）。
关键认知：布隆过滤器适合"宁可错放，不可错杀"的场景，如内容去重、爬虫URL判重等。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Redis实现布隆过滤器的核心原理
2.1 数据结构解剖
布隆过滤器本质是一个大型位数组（BitMap）配合多个哈希函数。当Redis遇到SETBIT命令时：
bash复制# Redis底层存储示例
SETBIT bloomfilter 10086 1 # 将偏移量10086的bit设为1
其内存占用计算公式为：
code复制内存(bytes) = ceil(预计元素数量 * ln(误判率) / ln(1 / (ln(2)^2))) / 8
例如要存储1亿元素，期望0.1%误判率：
- 位数组大小 ≈ 1.15亿bit ≈ 13.7MB
- 最优哈希函数数量k = 7
2.2 哈希函数的选择
Redis社区常用方案对比：
| 方案 | 优点 | 缺点 |
|---|---|---|
| MurmurHash3 | 速度快，冲突率低 | 需要额外实 |