做后端的人早晚会遇到一次高并发的拷问。我印象最深的一次是某活动预热阶段,线上接口日常 QPS 不到 500,结果页面流量一冲上来,CPU 使用率看着还行,但接口 RT 从 30ms 一路涨到 4 秒,线程池被打满,数据库连接池排队报错,最后加了两台机器不但没缓解,反而把下游存储拖垮了。那次复盘我们花了整整一周,最后得出的结论很简单却很扎心——高并发性能优化根本不是堆资源的游戏,而是“流量进门前削减、到达后快速处理、离开后不留尾巴”的系统工程。
这篇文章我把那套思路完整梳理一遍,覆盖指标拆解、接入层、应用层、数据层和端侧体验,也会穿插 Kafka 高并发处理、JSON 序列化、移动端优化这类常见场景,最后附上压测与排查的实操方法。无论你是在维护一个每天百万请求的业务系统,还是准备面试时把性能优化讲出深度,这篇内容都值得你收藏后慢慢消化。
1. 先搞清楚性能优化到底在优化什么
1.1 别急着调参数,先盯住这五个数字
很多人拿到性能问题第一反应是“线程池调大、缓存加一层、Kafka 分区加几个”,但这么做的成功率很低。原因很简单,你没定义“变好”的标准,调了也无法判断效果。
我一般先固定几个核心指标,写进监控看板和压测报告里:
- RT(响应时间):单个请求从发出到收到完整响应的时间,重点关注 TP99 和 TP999,而不是平均值。平均值会被长尾请求拉高,也不能反映真实体验,平均值 100ms 的系统里完全可能有一批用户等了 3 秒。
- QPS(每秒请求数):系统每秒能处理的请求量,这是吞吐能力的直接量化。
- 成功率与可用性:接口不能只求快,还得稳。我一般定 99.9% 成功率为底线,低于这个数先谈可用性再谈性能。
- 资源饱和度:CPU、内存、磁盘 IO、网络带宽、连接数,任何一个达到阈值都可能引发雪崩。
还有一个隐藏的关键参数叫“系统容量拐点”。任何系统都存在一个点:在此之前 QPS 上升,RT 基本平稳;超过这个点之后,QPS 再怎么上去,RT 会指数级恶化,成功率断崖下跌。优化的本质就是把这个拐点向右推——让系统在更高的并发下依然处于良性区。
1.2 瓶颈定位:用排队论理解系统的“承压上限”
实际定位瓶颈的时候,我的思路不是一头扎进代码,而是先想清楚请求在整个链路中到底在哪排队。这里有个很经典的公式——利特尔法则(Little's Law):
在线并发数 = QPS × 平均响应时间(L = λ × W)
这个公式对运维排障非常有用。假设一个接口 QPS 是 2000,平均 RT 是 100ms,那系统里同时处理中的请求就是 200 个。如果你的 Tomcat 线程池只配置了 150,必然有 50 个请求在队列里等线程,RT 就会超过 100ms。反过来说,当你发现线程池活跃线程数一直徘徊在最大值附近,说明系统已经进入排队状态,此时再怎么增加 QPS 也只能让 RT 恶化。
我用这个公式做过一次快速判断:某服务出现周期性超时,看起来像网络问题,但用 L = λ × W 一算,高峰期在线并发数已经超过线程池上限,而线程池任务队列又在无限堆积,根本原因是上游重试请求太多,把系统拖进了“处理不过来 → 上游超时重试 → 更多请求进来”的死循环。后来通过限流和熔断才解决。
(高并发场景的教科书级关键词:限流、熔断、降级;而排查前的核心思路是——你先告诉我瓶颈在 CPU、内存、IO、连接哪个维度,我再决定优化方向。)
1.3 优化顺序:先 SQL 和接口,再框架和中间件,最后才调 JVM
我见过不少团队一上来就调到 JVM 堆大小、换 GC 回收器,折腾半天效果甚微。原因是 80% 的性能问题集中在业务逻辑和数据访问层面。我总结过一套优化顺序,直到现在都在用:
- 接口层:有没有重复查询?能不能一次查出所有数据?能不能去掉无用的字段和循环调用?
- 数据层:索引有没有失效?SQL 有没有深分页?是否在读多写少的场景缺少缓存?
- 框架与线程模型:线程池配置是否合理?有没有非必要的同步等待?
- 中间件:消息队列、缓存、数据库连接池参数是否匹配实际并发量?
- JVM 和操作系统:到最后一步才去碰内存模型、GC 频率和内核参数。
这套顺序背后有一个逻辑:越靠前的优化,单位时间投入产出比越高。把逻辑层多余的查询减掉一个,可能比 JVM 参数调三天还见效。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 接入层优化:把流量挡在业务逻辑之前
2.1 网关与负载均衡:Nginx 的连接模型怎么调才够用
高并发下网关最容易出现的现象是“连接数打满导致新建连接失败”。以前我用 Nginx 做接入层时也犯过一个小错误——机器配置很高,但所有请求都挤在几个 worker 进程上,高峰期 CPU 没有跑满,接口却大量 Connection refused。
后来才意识到 Nginx 的性能上限和两个参数强相关:
- worker_processes:一般设置为 CPU 核数,但如果是 HTTPS 密集场景,可以适当调整为核数的 2 倍,因为 TLS 握手阶段需要消耗 CPU 做非对称加密,多一点 worker 能减少等待。
- worker_connections:每个 worker 能同时保持的最大连接数。单机最大并发连接数约等于 worker_processes × worker_connections(epoll 模型下)。
如果服务器还要预留资源给业务进程,我会把 worker_connections 设置成一个保守值,并且注意把系统的文件描述符上限调高。很多“连接数不够”其实是 ulimit 的限制,不是 Nginx 的限制。
Nginx 里还值得关注的是 keepalive_timeout,不要设太长。我见过很多业务默认设 75 秒,高并发时大量空闲连接占着 worker 不放,真正需要处理的请求反而排队。如果服务是内部接口调用,建议调到 10~15 秒左右,保持连接存活但不至于长期占坑。
2.2 限流、熔断、降级:高并发下必备的“三道闸门”
无论系统优化得多好,总会有流量超出预期的情况,这时候如果没有保护机制,系统会从性能退化变成整体宕机。我的经验是,在流量入口处提前做好限流、熔断、降级三道闸门。
限流的目的不是拒绝用户,而是牺牲一小部分请求来保全大部分请求的可用性。常用的算法有:
- 固定窗口:实现简单,但窗口临界点可能出现两倍流量穿透;
- 滑动窗口:比固定窗口平滑,适合对突发流量有容忍度的场景;
- 漏桶算法:流量进入速率恒定,适合保护数据库这类对速率敏感的组件;
- 令牌桶算法:允许一定程度的突发流量,适合网关入口。
我实际最常用的是令牌桶,允许瞬时打满缓冲区又不至于击垮后端。限流阈值怎么定?一般先压测得到单机安全 QPS,再乘以实例数,留出 20%~30% 的余量作为限流阈值。
熔断就更有意思了。我见过最典型的故障场景是:服务 A 调用服务 B 超时,A 的线程一直在等待 B 响应,QPS 高的时候几百个线程全部 hang 住,最终 A 服务也 OOM。给调用链加一个熔断器,当错误率在 10 秒内超过阈值(比如 50%),直接快速失败,给下游留出恢复时间,效果立竿见影。
降级则是主动放弃非核心功能。比如大促时把”查历史订单“这种非关键链路的接口直接降级,把计算资源留给核心下单流程。做降级前一定要梳理业务链路,明确哪些是核心,哪些可以牺牲。
2.3 别忘了内核网络参数:TIME_WAIT 和 TCP 重用
接入层高并发还有一个容易忽略的坑——TIME_WAIT 连接堆积。短连接请求完成后,主动关闭连接的一方会进入 TIME_WAIT 状态,系统默认要等 60 秒(2MSL)才能释放端口。如果 QPS 高且都是短连接,服务器的 TIME_WAIT 连接数会迅速累积,本地端口耗尽后表现为连接失败或响应变慢。
我处理过一个真实案例:新接口上线后大量采用短连接调用,高峰期 netstat 显示 TIME_WAIT 超过 5 万,之后客户端开始大量连接超时。临时方案是调整内核参数,让系统更积极地复用 TIME_WAIT 连接:
bash复制# 快速回收 TIME_WAIT
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
# 增大本地端口范围,让并发连接不会因端口耗尽而失败
net.ipv4.ip_local_port_range = 1024 65535
但这里必须提醒一句:tcp_tw_reuse 只是针对主动连接方(客户端)的优化,服务端大量 TIME_WAIT 时还需要从业务层面改造,优先使用连接池和长连接方案,而不是一味靠内核参数续命。真正治本的办法是让连接复用起来,这才是我在长连接设计中反复强调的事。
3. 应用层优化:代码级与架构级的组合拳
3.1 线程池大小别再拍脑袋了,用公式算一下
关于线程池,很多人的直觉是“并发高就调大线程数”,但这是最常见的误区。Java 的 Tomcat 默认线程池是 200,如果业务都是 CPU 密集型任务,线程数超过 CPU 核数后,线程之间的上下文切换会消耗大量 CPU,RT 反而会变慢。
线程池大小的经典估算公式是:
最优线程数 = CPU 核数 × CPU 目标利用率 × (1 + 等待时间 / 计算时间)
这里等待时间指 IO 等待、RPC 调用、数据库等待;计算时间指 CPU 执行时间。假设一个订单查询接口,CPU 计算时间约 10ms,但查询数据库耗时 90ms,那么等待/计算 = 9。在 8 核机器上,目标 CPU 利用率 80% 时,最优线程数大约为:
8 × 0.8 × (1 + 9) = 64
如果一个接口算出来只需要 64 个线程,而你配置了 200,结果就是大量线程阻塞在数据库等待上,线程切换频繁,整体吞吐反而下降。
实际运维时我不会完全依赖公式,还会压测验证。比如先把线程池调到一个中间值,观察 RT 和 CPU 的关系。如果 CPU 还没跑满但 RT 已经劣化,说明线程切换或锁等待已经是瓶颈;如果 CPU 长期 100% 但吞吐没上去,就要考虑是不是代码里有死循环或 GC 压力。
3.2 异步化:把同步等待变成消息驱动
降低 RT 最简单的一个思路,是把不需要同步返回结果的耗时操作从请求链路中拆出去。典型的场景是注册接口:用户提交注册请求后,系统要写数据库、发欢迎邮件、发优惠券、初始化用户空间。如果所有操作都是同步的,一次注册可能要 2 秒才能返回。但用户真正关心的只有“注册成功”这件事,邮件和优惠券完全可以在后台异步处理。
我当时把一个注册接口从同步改造成异步后,RT 从 1.8 秒降到 200ms,靠的就是引入消息队列。主链路只做核心的用户入库,发送通知、初始化数据等操作全部发到 MQ 里,由消费者慢慢处理。这样做还有个额外的好处——瞬时流量高峰时,MQ 天然起到了削峰填谷的作用,不会因为注册量突然暴增而打垮下游服务。
选择异步化方案时要注意一个边界:如果下游操作直接影响用户结果(比如支付结果查询),不能异步;如果用户只需要知道“提交成功”,后续流程可以容忍 10 秒到分钟级延迟,非常适合异步化。用一句话概括,异步化是在“最终一致性”场景下的 RT 优化利器。
3.3 Kafka 高并发消息处理的几个关键参数
Kafka 是目前高并发消息处理中应用最广的中间件,它性能强劲,但用不好很容易出现消息积压或吞吐瓶颈。我在实践中总结出四个处理高并发消息最关键的维度:
第一是分区数。Kafka 的分区数是并行度的上限。一个分区只能被同一个消费组内的一个消费者线程消费,如果你的 topic 只有 3 个分区,消费组里开 20 个消费者也没用,其中 17 个会闲置。合理的分区数要考虑目标吞吐,假设业务高峰期每秒写入 5 万条消息,单个消费者处理能力是每秒 1 万条,那分区数至少要有 5 到 6 个,最好留出余量到 10 个,应对未来增长。
第二是生产者批量参数。Kafka 的性能优势在于批量顺序写磁盘,默认情况下如果单条消息发送,会造成大量小 IO。我一般会调大 batch.size,并设置 linger.ms 为 10ms 左右,让生产者在 10ms 内把攒起来的消息一起发出去。不要担心 10ms 延迟,对大多数非实时业务完全无感。
第三是压缩。消息体比较大的场景,开启压缩能显著降低网络带宽和磁盘占用。我对比过 lz4 和 zstd,zstd 压缩率更高但更耗 CPU,在 CPU 不紧张而带宽有限时非常合适;对延迟敏感场景选 lz4 更稳。
第四是消费端参数和无限重试的坑。消费者拉取消息后如果处理失败,很多人会直接无限重试,结果某条坏消息把后面的消息全部卡住,导致整个分区消费停滞。更合理的做法是处理失败后投递到死信队列,或者记录错误后跳过该条消息,由定时任务单独补偿。
3.4 序列化开销这件事,前后端都可能踩坑
很多人优化高并发只盯着数据库和缓存,忽略了序列化消耗。在一次大接口优化中,我发现接口响应体是一个包含几十个字段的大 JSON 数组,单条消息就有 200KB。压测时服务端 CPU 并没有跑满,但响应 RT 怎么也降不下来。后来用火焰图一查,发现 JSON 序列化占了整个接口耗时 25%。
在后端 Java 场景,我通常会做两件事:一是把不需要返回的字段通过 VO 裁剪掉,二是尽量使用性能更高的序列化方案。需要说明的是,JSON.stringify/JSON.parse 本身在前端也经常成为性能瓶颈,尤其当滚动列表需要一次处理上百条历史数据时。
前端常见的场景是:接口返回一个大 JSON,前端用 JSON.parse 解析,如果数据量高达几 MB,主线程会卡顿几百毫秒,直接影响用户点击交互。我平时处理类似 JSON.stringify 相关优化时会用四个方向:
- 接口数据分页或增量返回,不在一次请求里带全量数据;
- 数据结构扁平化,减少嵌套层级,省去前端 deep parse 的开销;
- 高频率的序列化计算放到 Web Worker 里,避免卡住 UI 主线程;
- 对非常稳定的数据使用二进制或更紧凑的协议。
服务端也一样,如果一次返回 1 万条数据,真正被用户看到的可能只有前 100 条,那说明接口设计本身就需要优化,靠换更快的序列化库只是饮鸩止渴。
3.5 缓存的正确姿势:从本地缓存到分布式缓存
缓存是高并发系统里性价比最高的优化手段,也是隐患最多的一环。我之前维护过一个商品详情服务,每天几千万请求,其中 80% 的流量都集中在几百个热点商品上。直接从数据库查必死无疑,所以系统用了三层缓存:
- 本地缓存(Caffeine / Guava Cache),每个应用实例内存里缓存一小份热点数据,访问延迟是纳秒级;
- 分布式缓存(Redis),存放全量热数据,查询延迟在毫秒级;
- 数据库,只负责兜底。
加入本地缓存后,我观察到一个显著变化:Redis 的每秒查询量从 10 万降到了 3 万,许多热点 Key 的访问完全被本地内存抗住了。有的团队不敢用本地缓存,担心数据不一致,但这个问题的解法不是彻底弃用,而是把本地缓存的过期时间缩短到几秒钟,同时只对读多写少的数据开启本地缓存。
缓存这层最常见的三个问题就是穿透、击穿和雪崩。为了避免认知模糊,我用一张表概括:
| 问题 | 现象 | 典型场景 | 防线 |
|---|---|---|---|
| 缓存穿透 | 查询一个不存在的 Key,每次都打到数据库 | 恶意请求不存在的商品 ID | 缓存空值 + 布隆过滤器 |
| 缓存击穿 | 某个热点 Key 过期瞬间大量请求打穿到 DB | 热门商品突然过期 | 热点 Key 永不过期 + 互斥锁重建缓存 |
| 缓存雪崩 | 大量 Key 在同一时间过期,请求全部涌入 DB | 批量设置的 Key 同时失效 | 过期时间加随机值 + 多级缓存 |
布隆过滤器是我特别推荐的做法,它用一个概率型数据结构快速判断 Key 是否存在,不存在的请求直接拦截在缓存层之前,连 Redis 都不用查。
4. 数据层极限优化:数据库和缓存怎么扛住高并发
4.1 连接池参数不是越大越好
数据库连接是高并发场景下最昂贵的资源之一。每次新建连接都要经历 TCP 握手、MySQL 权限校验、连接创建,整个过程可能消耗几十毫秒。所以我一直强调,线上绝不能使用直连数据库,必须通过连接池管理。
但连接池大小同样不是越大越好。我见过有人把 HikariCP 的 maximumPoolSize 设置为 500,理由是“并发高怕连接不够”,结果数据库本身只能承受 200 个并发连接,剩下 300 个连接全部排队,数据库线程被拖死,应用反而更慢。
连接池设定的一个经典参考公式是:
连接数 = ((核心线程数 × 2) + 有效磁盘数)
这个公式比较保守,配合 HikariCP 的实践经验,我更推荐的做法是:先从 CPU 核数 × 2 起步,在压测环境逐步上调,观察 RT 和数据库 CPU 使用率。如果数据库 CPU 已经跑满,连接数再大也没有意义,此时需要做的是削减 SQL 次数或增加缓存命中率。
HikariCP 里最值得关注的参数其实是 connectionTimeout 和 maxLifetime。我一般把 connectionTimeout 设为 3 秒,超过 3 秒拿不到连接直接失败快速反馈,避免线程无限等待;maxLifetime 设为 30 分钟,小于数据库 wait_timeout,防止服务端把连接杀死后客户端还在用旧连接。
4.2 SQL 深分页和大事务是数据库性能杀手
高并发场景下数据库经常不是“慢查询”太多,而是那几条高频 SQL 每次执行都扫描大量数据。我最常见的翻车现场是深分页——前端页面翻到第 100 页的时候,SQL 变成:
sql复制SELECT * FROM order_list ORDER BY id DESC LIMIT 100000, 20;
这条 SQL 看起来简单,但数据库要先把前 10 万行全部读出来排序,然后丢弃前 10 万行,才能返回 20 条数据。线上 QPS 一旦高起来,磁盘 IO 直接打满。
常用的优化方式有两种:一是延迟关联,先查出主键再关联回原表获取完整数据;二是基于游标分页,用 where id > 上一次最大 id 的方式替代 limit 偏移量。第二种方式对高并发最友好,因为每次查询都是索引范围扫描,扫描量非常可控。
另一个数据库杀手是大事务。如果一个事务里执行了太多更新操作,或者事务里包含了一次外部 RPC 调用,事务持有的行锁和 undo log 都会随着并发升高而膨胀。我处理过一个库存扣减接口,业务代码在事务里调用了一次会员积分服务的 RPC,结果这个 RPC 偶尔超时 2 秒,库存行锁就被占用了 2 秒,其他用户的购买请求全部阻塞。优化方案很简单:把积分 RPC 挪到事务外面,事务里只保留最核心的库存更新。
4.3 什么时候需要分库分表
很多团队一聊高并发就上分库分表,这其实是最难维护的方案,能不用就不用。我的判断标准是:单表数据量超过千万并且查询性能开始下降,或者单库写入 QPS 已经无法通过提升实例配置解决,才需要考虑分片。
但分库分表一旦启动,就要提前规划分片键。最常见的案例是订单表,如果通过 user_id 分片,那同一个用户的订单都落在一个库上,查询自己的订单列表非常高效。但运营后台需要按商家维度查询所有订单时,就会变成跨库查询,必须引入汇总表或搜索引擎做二次检索。如果从一开始没想清楚未来主要的查询维度,分库分表就是自己给自己挖坑。
我比较推荐的做法是先读写分离 + 缓存扛住前期的增长,等写入量真的到了单库天花板,再对核心表做垂直拆分(拆字段),最后才考虑水平分片。高并发系统优化不是一步到位,而是渐进式演进。
5. 端侧体验:高并发系统优化不只是后端的事
5.1 前端请求合并与数据裁剪,远远被低估
一个高并发系统的完整链路里,前端和后端的优化经常会脱节。我见过一个非常典型的案例:业务方在移动端首页一次性渲染 200 条推荐内容,每条内容都包含一个独立的点赞状态接口请求,结果每个用户进入首页会产生 201 个 HTTP 请求。后端再怎么优化单接口性能,面对 200 倍的请求放大也扛不住。
优化方向有两个。第一个是请求合并,把一个页面里的多次请求合并成一个批量接口,或者直接用 GraphQL 按需拉取。第二个是数据裁剪,把接口返回的字段按页面实际需求精简掉一半,流量自然下降。移动端弱网环境下,这两个改动对体验的提升非常明显,首屏加载时间可能从 3 秒降到 1 秒以内。
5.2 移动端和手游里的“请求风暴”问题
手游和移动端场景中,高并发不仅在服务端,也在客户端。每当网络波动或者用户从后台切回前台时,如果客户端在短时间内对多个接口发起集中请求,就会造成“请求风暴”,把本来就在恢复期的后端服务再次压垮。
我的经验是,移动端网络框架的重试机制必须有退避策略,不能请求失败后立刻无限重试,而要用指数退避加随机抖动。同时,客户端的请求要设置并发上限,避免一个页面同时发出 20 个请求。这个思路其实和服务端的限流异曲同工,都是在客户端把流量削平。
团队还做过一个很有效的优化:把短连接接口改成长连接推送,将原本轮询产生的无效请求量降低 70%。前提是业务场景适合推送,比如消息通知类和实时状态类,这不适合每个项目照搬。
5.3 给自己的 Windows 机器做一次“性能瘦身”
高性能系统的思路有时候也能用在开发机上。如果你平时在 Windows 下做开发或玩游戏,有多余的后台服务和临时文件,开机关机、编译读取文件、进入游戏都可能被拖慢。我整理了一个批处理脚本,可以用来关掉无关紧要的临时文件、切到高性能电源模式、做基础网络参数调整。需要注意,脚本要在管理员权限下运行,并且不要随意停止你正在使用的软件服务。
bat复制@echo off
echo 正在切换到高性能电源模式...
powercfg /setactive 8c5e7fda-e8bf-4a96-9a85-a6e23a8c635c
echo 正在清理当前用户临时目录...
del /q /f /s "%TEMP%\*.*" >nul 2>&1
echo 正在清理Windows临时目录...
del /q /f /s "%WINDIR%\Temp\*.*" >nul 2>&1
echo 正在清理回收站...
rd /s /q C:\$Recycle.Bin >nul 2>&1
echo 正在优化TCP参数(开启自动调优级别)...
netsh interface tcp set global autotuninglevel=normal
echo 操作完成。
pause
这个脚本里最安全的做法是结合项目实际情况调整,不要照抄后盲目运行。比如 powercfg 的高性能 GUID 在不同版本系统上基本都是同一个值,但如果运行失败建议先用 powercfg /list 查看本机电源计划,再手动替换。
6. 压测、监控与问题排查:优化做得好不好,拿数据说话
6.1 压测是唯一可信的性能验证方式
我始终认为,没有经过压测的性能优化都是在“盲调”。压测的意义不是测试系统“能不能扛住”,而是找到系统的容量拐点、RT 分位数变化趋势和资源瓶颈。
压测工具有很多,简单接口用 wrk / ab 就够;复杂业务链路和场景编排用 JMeter 或 Gatling;真正的全链路压测则需要在网关层回放流量,同时把写入下游的数据做影子隔离。需要注意一个细节:压测请求不能只在应用层打,要通过网关走完整链路,因为 Nginx、Redis、MySQL、下游微服务都可能成为瓶颈,不能把它们排除在测试范围外。
压测时应逐步增加并发数,每提高一档观察 RT 的 TP99 和成功率,而不是一开始就把并发拉到目标值。如果系统在 1000 并发时 TP99 是 80ms,在 2000 并发时 TP99 跳到 500ms,就说明容量拐点在 1500 左右。后续的限流阈值、扩容决策都基于这个数据来定。
6.2 高并发排查常用工具与命令
线上出现问题时要快速定位,我一般按 CPU、内存、线程、GC 几个维度逐步排查。
- CPU 飙高:先
top -Hp PID找到 CPU 最高的线程,再用 jstack 导出线程栈,看阻塞在哪个方法;更现代的工具是 async-profiler,可以直接生成火焰图,一眼看到 CPU 时间消耗分布。 - 内存问题:用 jmap 导出堆转储文件,配合 MAT 或 VisualVM 分析大对象和泄漏点。
- GC 频繁:先通过 jstat 看 GC 频率和耗时,如果 Full GC 频繁,优先排查是不是内存泄漏或堆太小,而不是直接调大堆。
- 数据库慢查询:在 MySQL 开启慢查询日志,覆盖到主从的所有实例;也可以看 information_schema.processlist 里有没有大量 Waiting for table metadata lock。
还有一个很隐蔽但高并发下极易触发的问题——日志打太多。每次请求都打完整的 debug 日志,在高 QPS 下会消耗大量磁盘 IO,应用处理能力直线下降。我在线上多次见过这种案例,把日志级别从 DEBUG 改成 INFO 后接口性能直接提升 30%。日志框架里你还可以为每个请求打上 traceId,方便全链路排查,但要限制单条日志大小和频率。
6.3 常见性能问题速查表
用一张表总结我实际工作中遇到频率最高的问题和解决路径,方便你遇到同类问题时先按表排查:
| 症状 | 可能原因 | 排查方向 | 常见解法 |
|---|---|---|---|
| CPU 使用率高但 QPS 上不去 | 代码有死循环 / 频繁 GC / 正则回溯 | 火焰图、线程栈 | 优化代码热点、调整 GC 参数 |
| RT 持续上涨但 CPU 不高 | 线程池排队 / 数据库连接等待 | 活跃线程数、连接池等待时间 | 调整线程池大小、增加数据库连接池 |
| 接口偶发超时 | Full GC / 下游依赖抖动 | jstat、链路追踪 | 降低 GC 频率、给下游加超时和重试 |
| 缓存命中率突然下降 | Key 过期时间集中 / 热 Key 失效 | Redis 监控、过期键分布 | 过期时间加入随机值、热 Key 本地缓存 |
| 数据库 CPU 打满 | 慢 SQL / 缺少索引 / 大事务 | 慢查询日志、explain | 优化 SQL、补索引、拆分大事务 |
| Kafka 消费堆积 | 消费者并行度不足 / 消费逻辑慢 | 查看消费组 Lag、消费耗时 | 增加分区或消费者、异步化消费逻辑 |
| 前端页面卡顿 | JSON 解析大对象 / 渲染循环过多 | 浏览器 Performance 面板 | 分页返回、Web Worker 分流处理 |
这张表肯定覆盖不了所有情况,但高并发场景的优化方向基本绕不开这些。遇到新问题先记录,压测复现后再逐层排查,不要靠感觉去猜。
做高并发性能优化这些年,我最大的体会是:性能问题大多是系统性的,不是靠单个“大招”解决。你把一台机器的线程池调得再完美,下游数据库没有索引照样会把整体拖垮;你把 Redis 缓存层加固得再好,前端一个页面发 200 个请求照样让网关崩溃。真正有效的方法是先建立全局视角,从流量进来到数据落库逐层拆解,找到真正的瓶颈,再用压测数据验证每一项改动。如果这篇文章能帮你避开我之前踩过的某些坑,那就值得了。
