饿了好几天的店铺流量终于被拉回来之后,我才真正意识到,饿了么CPS系统的Java服务,最怕的不是业务逻辑写错,而是服务还活着,但是已经“病入膏肓”。那段时间接口时不时超时,订单同步偶尔卡顿,半夜被电话叫醒已经是家常便饭。后来我们把资源监控和告警机制彻底搭起来,情况才好转。今天这篇文章,就把我在饿了么CPS系统里给Java服务搭建资源监控与告警机制的过程、选型思路、阈值设计、踩坑记录完整分享出来,给正在做同类业务的同学一个参考。
这套东西适合谁看?如果你负责的Java服务是典型的CPS返佣、订单同步、分账结算这类高并发、强依赖中间件的系统,或者你刚接手一个线上服务,发现全靠人工盯日志、被用户投诉了才知道出问题,那这篇文章就是给你准备的。不需要你有多深的基础,只要会用Spring Boot,跟着思路走就能落地。
1. 把CPS系统的“脾气”摸清楚,再谈监控
1.1 饿了么CPS系统的业务链路与资源瓶颈
CPS的全称是Cost Per Sale,按成交付费。饿了么CPS系统说白了就是一套返佣结算系统,用户通过推广链接下单,我们根据订单归属给推广方计算佣金。所以这套Java服务有一个很明显的特征:请求量极具脉冲性。午餐、晚餐前后的外卖高峰期,订单相关的接口QPS能瞬间冲到日常的十几倍,而且对下单回传、订单状态变更通知这类接口的实时性要求极高,晚几秒就可能影响到返佣归因。
这类服务的资源瓶颈往往不在单机CPU算力上,而在线程、内存、数据库连接池、以及下游Redis缓存的稳定性上。订单归因要查Redis,订单数据要写MySQL,佣金计算要跑异步任务,任何一个环节出现资源争抢,整条链路都会被拖垮。线上环境里,服务不是一个人写的,谁也不敢保证自己负责的那段代码没有内存泄漏、没有线程滞留,所以不做资源监控,基本等于蒙着眼睛开车。
1.2 监控方案选型:为什么我推荐Prometheus组合拳
做资源监控的工具有很多,老的Zabbix、新的SkyWalking、云厂商自带的监控平台,我都接触过。但在CPS这种以Java服务为主、微服务拆分较细、中间件依赖重的场景里,我最推荐的是 Prometheus + Grafana + Alertmanager 这一套,配合Spring Boot Actuator暴露指标。
选它有几个很实际的原因:
- Java生态支持好,Spring Boot应用通过Micrometer可以直接把JVM、线程池、HTTP请求等指标暴露成Prometheus格式,基本不用写额外的采集代码
- 告警规则灵活,PromQL查询语言功能很强,能按服务、按实例、按接口维度做同比、环比、连续多周期判定,而不是僵硬的阈值比较
- 部署轻量,相比SkyWalking对字节码增强、链路数据存储的要求,Prometheus本身就是一个二进制,抓取指标库也不算重
- Grafana做可视化太方便,社区里有现成的JVM监控面板,导入就能用,节省大量时间
Zabbix也不是不能用,但它的Agent对Java服务的细粒度指标支持差一些,画出来的图也不够灵活。云厂商自带监控虽然省事,但一旦你在本地机房或者自建K8s上跑,就绑死了。所以除非公司已经有统一的监控平台且运维不愿意放开,否则自己搭一套Prometheus组合拳,性价比最高。这里我踩过最深的坑是:监控系统和业务系统必须是两套独立部署、独立资源占用的设施。 我一开始图省事,把Prometheus跑在业务服务所在的同一台机器上,结果业务服务一OOM,机器负载飙升,Prometheus先挂了,告警也发不出来,属于典型的骑着马找马。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Java服务资源监控:哪些指标值得盯,盯到什么程度
2.1 JVM内存与GC监控:内存溢出和停顿的照妖镜
在饿了么CPS系统里,JVM监控是重中之重。因为订单归因、返佣结算这类逻辑里,会有不少明细数据的聚合查询,数据量大时,一个订单批量回传可能就要一次性加载几万条的明细做计算。如果代码里再有一处不留神把大对象放进了静态Map,老年代内存就像漏水的水缸,迟迟不见下降,最后就是Full GC越来越频繁,接口响应时间从几十毫秒飙升到几秒。
JVM层面我主要盯着几个指标:
- 堆内存使用量:包括Eden、Survivor、Old三个区域的使用率。Old区如果持续高于70%且GC之后不回落,基本就是大对象一直在堆积
- GC次数和GC耗时:Young GC每分钟多少次,Full GC多久一次、单次耗时多长,这两个数值直接反映JVM的“呼吸”是否顺畅
- 非堆内存:Metaspace这个区域最容易忽略,但动态生成类(CGLIB、反射、热部署)多的服务,Metaspace会慢慢涨,涨到太大一样会触发频繁GC
- 线程数:JVM里的活动线程数、阻塞线程数、死锁线程数,这个后面单独讲
参考阈值方面,以一台4核8G,堆内存分配4G的服务为例:Young GC频率如果超过每秒一次,说明对象创建速度过快;Full GC如果一天超过5次,就要开始查了;单次Full GC耗时如果超过500ms,线上接口延时基本能明显感知。**JVM监控不能只看当前值,要把GC趋势图拉出来看48小时或一周的变化,
