位图和布隆过滤器,是我在海量数据判重场景里最常用的两板斧
先说一个我经常拿来开场的问题,也是当年我面试时被问到的:如果给你40亿个不重复的无符号整数,内存限制在1GB以内,如何快速判断某个数是否在这40亿个数当中?
第一反应可能是排序后二分,或者丢进哈希表。但40亿个int排序后在内存里至少占16GB,哈希表的开销更大。这时候你就需要一个“记住状态但不需要记住值本身”的数据结构——位图(Bitmap)出现了。再往后,如果数据量更大、数据本身不是连续整数,而是URL、用户名这种字符串,位图也撑不住,于是布隆过滤器(Bloom Filter)成了标准答案。
这篇文章不讲八股,就把我实际写C++代码时怎么设计位图、怎么写布隆过滤器、怎么估算参数、以及线上真实踩过的坑都摊开聊一遍。无论你是准备面试还是真的要在项目里处理海量判重,应该都能找到直接能抄的代码和思路。
1. 位图的核心价值:把“状态”而不是“数据”存下来
1.1 一个二进制位回答一个“存在吗”
位图的思路极其朴素:给每个可能的值分配一个bit,bit为1表示“这个值出现过”,bit为0表示“没出现过”。查询的时候只要看对应的bit是0还是1,就能在O(1)时间内得到答案。
很多人第一次接触位图时觉得这不过是个“节省内存的数组”,但它的本质其实是把数据存储问题转化成了状态记录问题。你不需要保存原始值本身,你只需要一个能根据值计算出唯一位置的方法。对于无符号整数来说,这个值本身就是下标,所以位图在整数判重场景里是天然的完美适配。
这么说可能太抽象,我们算一笔账。假设要处理的是32位无符号整数,取值范围0到2^32 - 1。如果用位图,只需要2^32个bit,也就是512MB。如果直接存这些整数的集合,最坏情况下要存2^32个int,按4字节算就是16GB。在只关心“在不在”这个问题的前提下,位图把空间压缩到了原来的1/32。
注意这里的本质是:用“提前分配整个值域空间”去换“查询时O(1)的时间”。哈希表是空间随数据量增长,位图是空间随值域范围增长。选哪个,取决于你面对的是什么样的数据分布。
1.2 为什么哈希表在某些场景下不是最优解
哈希表的查找也是O(1),但它的内存开销比位图大很多。以unordered_set为例,一个元素除了要存4字节的int本身,还要存哈希表节点指针、负载因子预留空间,平均下来一个元素的实际开销少说16字节起步。数据量到亿级时,这个差距就很明显了。
另一个更关键的问题:哈希表在插入过程中会发生内存分配和rehash,在大数据量下性能抖动明显。而位图在初始化时一次性把内存分配好,后续所有操作都是纯内存位运算,没有分配、没有rehash、没有链地址冲突问题。
我并不是说位图可以替代哈希表。哈希表能存key-value、能枚举所有元素、支持删除操作,这些都是位图做不到的。但在“只需要判断是否存在”这种特定问题上,位图的简洁和性能确实是哈希表比不了的。做技术选型最忌讳的就是拿着一把锤子看什么都是钉子,明白每个数据结构的边界,比背一百个API管用。
1.3 位图的内存模型与换算关系
实现位图时,C/C++里没有bit级别的数组类型,最小可寻址单位是byte。所以位图通常用vector<uint64_t>或vector<unsigned char>来承载,靠位运算定位到具体的bit。
换算关系其实就两个公式:
- 第几个
uint64_t:index = pos / 64 - 这个
uint64_t里的第几位:offset = pos % 64
为什么要用uint64_t而不是vector<bool>或者vector<char>?vector<bool>在C++标准库里有专门的bit压缩实现,但它的代理对象设计导致在很多场景下性能不佳,而且在多线程环境下操作起来很别扭。vector<char>的问题是一个字节只用一个bit太浪费。vector<uint64_t>在64位机器上一个指令就能处理64个bit,无论从空间还是从CPU指令效率上都是更好的选择。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 手写一个可用的C++位图:接口、位运算与边界处理
2.1 接口设计:set、reset、test,少即是多
先给出一个我自己在项目里反复使用的位图实现,代码不长,但涉及到的细节都值得抠一抠:
cpp复制#include <cstdint>
#include <stdexcept>
#include <vector>
class Bitmap {
public:
explicit Bitmap(size_t bit_count)
: bit_count_(bit_count),
words_((bit_count + 63) / 64) {}
void set(size_t pos) {
check_range(pos);
words_[pos / 64] |= (uint64_t{1} << (pos % 64));
}
void reset(size_t pos) {
check_range(pos);
words_[pos / 64] &= ~(uint64_t{1} << (pos % 64));
}
bool test(size_t pos) const {
check_range(pos);
return (words_[pos / 64] >> (pos % 64)) & 1;
}
void clear
