1. 问题现象与初步判断
上周五凌晨2点,我正睡得迷迷糊糊,突然被一阵急促的报警短信惊醒——生产环境某台服务器的CPU使用率飙到了100%。这种半夜突发的性能问题最让人头疼,但也是最能锻炼排查能力的机会。今天就把这次完整的排查过程记录下来,分享给可能遇到类似问题的同行。
CPU满载通常表现为:
- 系统响应明显变慢,SSH登录延迟高
top命令显示单个或多个进程CPU占用异常- 负载平均值(load average)持续高于CPU核心数
- 可能伴随OOM killer日志或进程自动终止
重要提示:遇到CPU满载时不要立即重启服务器!这会导致问题现场丢失,可能掩盖真正的隐患。正确的做法是先保留现场数据,再针对性处理。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 排查工具与命令速查
2.1 基础诊断三板斧
bash复制# 1. 查看整体CPU使用情况(按1显示各核详情)
top -c
# 2. 按CPU占用排序进程
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head -n 10
# 3. 查看系统负载和运行队列
uptime
vmstat 1 5
2.2 进阶诊断工具包
bash复制# 1. 进程级CPU热点分析
pidstat -u 1 5
# 2. 系统调用追踪
strace -cp <PID>
# 3. 性能快照(需提前安装)
perf top -p <PID>
3. 典型场景深度解析
3.1 案例一:Java应用线程死循环
现象特征:
top显示某个Java进程CPU持续99%ps -T -p <PID>可见单个线程占用异常
排查步骤:
- 获取线程堆栈
bash复制jstack <PID> > thread_dump.log
- 转换线程ID(将top中的16进制ID转为jstack中的10进制)
- 分析热点线程的调用栈
常见原因:
- 未正确处理的空集合迭代
- 递归调用缺少终止条件
- 同步锁竞争导致的忙等待
3.2 案例二:内核态CPU占用高
现象特征:
top显示%sy(系统CPU)异常偏高vmstat的cs(上下文切换)数值激增
