这道题我在面试候选人的时候经常拿来开篇,也在我自己复盘线上缓存体系的时候反复推演过。Caffeine、Redis、MySQL三级缓存,十个字不到,却能把JVM内存管理、分布式缓存、数据库存储、并发控制、缓存一致性这些知识点全部串起来。很多同学拿到题目,第一反应是“先查Caffeine,没有再查Redis,再没有查MySQL”,说完这句就卡住了。要么就是上来背八股,结果在面试官追问“第二层怎么回填”“本地缓存怎么失效”“Redis挂了怎么办”的时候,被问得哑口无言。
这篇文章我按自己平时拆解问题的套路来讲:先帮你把“十万用户并发”这个数字背后的真实压力算清楚,再讲三级缓存每一层该承担什么角色、核心参数怎么定,然后给出一套可以直接落地到项目里的代码骨架,最后把面试官最常追问的连环问题串一遍。适合正在准备Java后端面试的工程师,也适合那些线上缓存经常出幺蛾子、想重构缓存体系的开发者。
1. 先拆题:十万用户并发到底在考什么
1.1 并发和QPS不是一回事
先把这个最容易踩的坑说清楚。很多候选人一听到“十万用户并发”,上来就说“十万QPS扛不住”。这两个根本不是同一个概念。
用户并发通常指的是同时在线操作、同时占用连接的用户数,而QPS是每秒钟系统处理的请求数量。一个用户的一次页面操作,可能产生1个请求,也可能产生5个、10个请求,比如打开一个商品详情页,可能要同时拉商品信息、库存、评论、推荐位。假设十万用户同时刷页面,每个用户产生3个请求,那落到系统上的真实QPS可能就是三十万。
反过来,如果十万用户只是登录挂着,偶尔点一下,那实际QPS可能只有几千。所以拿到这种题目,第一步不是讨论方案,而是要反问清楚:这十万并发是IM在线连接数、是Web请求并发,还是数据库连接并发?场景不同,方案复杂程度完全不一样。
面试官抛出这个数字,真正想考察的是你能不能把“并发用户数”转换成“系统要扛的QPS”再去设计架构。直接跳到Caffeine、Redis怎么配,反而会让面试官觉得你思维模型太简单。
1.2 这个场景的真实压力在哪
如果按一个电商读多写少场景来估算,假设十万用户在高峰期同时浏览商品,平均每人每秒产生1.5个请求,那总QPS就是十五万。再假设整个服务集群有10个节点,每个节点要承担一万五千QPS。
先看MySQL能不能扛。常规MySQL单实例,在简单查询、走索引、连接池配置合理的情况下,支撑三千到五千QPS已经算不错了。优化到一万QPS需要非常精细的调优,而且往往意味着要牺牲很多其他能力。一万五千QPS的读请求如果全打到MySQL,基本上活不过一分钟,连接数会先被打满,然后线程栈堆积,紧接着整个服务跟着雪崩。所以MySQL之上必须有一层分布式缓存来挡流量,Redis就是干这个的。
再看Redis能不能直接扛十五万QPS。Redis单实例读性能很猛,十万以上的QPS是能做到的,但要付出不小的代价。到了这个量级,Redis的内存占用会很大,网络带宽会吃紧,请求耗时也会因为网络IO而上涨。更重要的是,如果所有请求都穿透到Redis,Redis万一抖动,MySQL会立刻被打穿。所以Redis之上还需要一层更快的本地缓存,也就是Caffeine,把高频热点请求拦在应用进程内部。
这就是三级缓存架构存在的根本原因:不是闲着没事堆缓存,而是每一层都在拦截上一层的压力,让流量逐级衰减。
1.3 这道题真正考察的能力模型
进阶一点说,多级缓存这个话题,表面考察的是技术选型,深层次考察的是你在分布式系统里的权衡能力。
本地缓存快,但数据不能跨节点共享;Redis能共享,但每次都有网络IO;MySQL最可靠,但吞吐有限。你要做的不是选一个“最好”的组件,而是给每一层分配合理的职责边界,接受每一层的缺陷,再用其他手段弥补。这种“用复杂换性能”的思路在面试官眼里是很值钱的——因为生产环境里,出了问题你得能退化、能降级,不能只盯着理想状态的性能数字。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 整体架构:三级缓存各司其职
2.1 为什么要设计成三级而不是两级
有不少人问过:有Redis就够了,为什么还要加一层Caffeine?我用一组直观的数据来回答。
假设一个商品详情页的Redis缓存查询平均耗时是2毫秒,MySQL查询平均耗时是20毫秒。当QPS只有一千的时候,2毫秒和20毫秒的差距体感不明显,反正都挺快。但QPS到十万的时候,2毫秒单次请求意味着系统要凭空处理巨大的并发开销,而且Redis的带宽和连接数都会成为瓶颈。Caffeine这种进程内缓存,查询耗时是微秒甚至纳秒级别的,因为它直接在JVM堆内存里操作对象,不经过网络、不经过序列化。这三者在耗时上完全不是一个量级。
另外还有一个更现实的问题:成本。Redis再快也是需要独立部署的,内存成本很高。Caffeine跑在应用进程里,几乎零额外成本。在多级缓存体系里,Caffeine挡住第一波访问,Redis只处理本地缓存未命中的请求,Redis的压力会大幅下降,集群规模也能缩下来。十几台应用节点 + 一个小规模Redis集群就能扛住原本需要很大Redis集群才能扛住的流量,这笔账很划算。
多级缓存的
