深夜手机震到床头柜嗡嗡响,监控大屏一片飘红,CPU、内存、磁盘、IO全在告警,群里@消息刷了几百条——这种场景,搞过运维的都懂。越是这种时候越不能慌,更忌讳凭感觉瞎敲命令。Linux故障排查看着是命令积累,本质上是一套有顺序、有逻辑的应对流程:先看什么、再查什么、怎么缩小范围、怎么确认恢复,每一步都有讲究。这篇文章就是把我这些年半夜爬起来处理告警的完整思路整理成一张“作战地图”,从接到告警到定位根因,再到后续治理,一条线讲清楚,适合运维、SRE、后端开发和对Linux排查感兴趣的朋友参考。
1. 告警刷屏后的前十分钟:先定级,再动手
1.1 告警洪峰不是“全都要修”,是“先抓根因”
告警轰炸的时候,最典型的错误就是被带着走。磁盘报警去清磁盘,CPU报警去看进程,内存报警去杀进程,结果搞了半天发现本质上是同一个问题:比如某应用疯狂写日志,同时把磁盘、IO、CPU全打满了。你单独修每一项都是在陪跑,只有找到那个源头进程,所有告警才会一起消失。
所以告警刷屏后的第一件事不是执行命令,而是做“告警归类”。把当前触发的告警按指标维度分组:哪些是CPU相关、哪些是内存相关、哪些是磁盘和IO相关、哪些是网络相关、哪些是应用进程相关。分完组之后,再找“公共交集”——比如某个应用在这段时间部署了新版本,同时所有告警指标都异常,那大概率就是这次变更引起的。这个判断不需要立刻验证,但心里要先有一个假设,后面所有排查都围绕验证这个假设展开。
1.2 30秒信息快照:把告警转成排查线索
告警平台上的告警信息通常包含主机IP、指标名、触发时间、当前值、持续时间,这些信息在慌乱中最容易被忽略,但恰恰是排查的第一手输入。我建议在动手之前,先手工记录或截屏保存以下信息:
- 告警主机和IP,确认是不是自己负责的那批机器;
- 各指标当前的具体数值和阈值,比如CPU是99%触发的还是85%触发的,区别很大;
- 告警首次触发时间,这个时间点前后是否有变更、发布、定时任务;
- 告警持续时间,是持续了半个小时还是刚刚才触发。
这些信息加起来不会超过30秒,但能帮你快速判断问题的性质。比如持续时间“刚刚触发”和“已经持续一小时”,排查优先级完全不一样。前者可能是瞬时抖动,后者则意味着系统已经在异常状态下运行很久,需要尽快处理。
1.3 排查环境的准备:别让工具拖你后腿
深夜排查最怕什么?最怕SSH连不上、命令没权限、工具没安装。我个人的建议是提前把常用排查工具装好,别等到告警来了才想起来补。最少要保证每台服务器上有这些基础工具:top或htop、vmstat、iostat、netstat或ss、lsof、strace、tcpdump、iftop或nload。如果是CentOS/RHEL系,用yum install sysstat net-tools lsof strace tcpdump iftop就能覆盖大部分;Debian/Ubuntu系用apt装同样的包。
另外,建议提前确认一下监控平台里能查到多细的历史数据。深夜排查时,历史趋势图往往比当前时刻的快照更有说服力。比如内存告警,如果趋势图显示过去一周内存占用缓慢爬升,那是泄漏类问题;如果显示半小时内从30%跳到95%,多半是流量突增或某进程异常申请内存。两种情况的处理方向完全不同。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 主机基本面体检:CPU、内存、负载的快速抓取
2.1 uptime和vmstat:先看全局再看局部
接通服务器后,我先敲的永远是uptime和vmstat 1 5,原因很简单:这两条命令能在10秒内给出这台机器当前的整体健康画像。
uptime输出里的三个负载值分别代表1分钟、5分钟、15分钟的平均负载。判断负载是否异常的基准不是看数字大小,而是看它和CPU核数的关系。比如一台8核机器,负载跑到16,说明每个核平均排队了2个任务,明显过载;但如果负载是2,即使报警阈值配置得低,也不用太担心,因为距离饱和还有很大余量。
vmstat 1 5更有意思,它每秒打印一行,连续显示5次。重点看这几列:
r:运行队列中的进程数,持续大于CPU核数说明CPU饱和;b:处于不可中断睡眠状态(通常是等待IO)的进程数,持续大于0说明IO有问题;si和so:交换分区换入换出量,不等于0说明物理内存不够用,系统在拿磁盘当内存,性能会断崖式下降;wa:CPU等待IO的时间占比,这个数值高通常意味着磁盘响应慢,可能是磁盘硬件故障,也可能是IO请求太多。
这里有个容易踩的坑:vmstat的wa高分析起来要结合b列一起看。如果wa高但b也高,说明大量进程在
