1. Linux服务器故障急救概述
当Linux服务器出现性能问题时，CPU、内存和磁盘这三大资源往往是最关键的瓶颈所在。作为运维人员，我们需要快速定位问题根源并采取有效措施。本文将分享我在生产环境中处理这些问题的实战经验，涵盖从基础诊断到高级优化的完整流程。
2. CPU资源耗尽排查与处理
2.1 快速诊断CPU问题
当服务器响应变慢时，首先通过top命令查看CPU使用情况：
bash复制top -c
重点关注：
- 负载平均值（1/5/15分钟）
- 占用CPU高的进程
- 用户态和内核态的CPU使用比例
如果发现某个进程异常占用CPU，可以使用perf工具进行深入分析：
bash复制perf top -p <PID>
2.2 Java应用CPU高问题处理
对于Java应用CPU高的问题，我常用的排查步骤：
- 使用top找到Java进程PID
- 执行
jstack -l <PID> > thread_dump.log获取线程堆栈 - 使用
jstat -gcutil <PID> 1000 5查看GC情况 - 分析线程堆栈中处于RUNNABLE状态的线程
常见原因包括：
- 死循环
- 频繁GC
- 锁竞争
- 不合理的线程池配置
2.3 CPU智能调度优化
现代Linux内核支持CPU调度策略调整：
bash复制# 查看当前调度策略
chrt -p <PID>
# 设置实时优先级
chrt -r -p 99 <PID>
对于多核服务器，可以通过taskset绑定CPU核心：
bash复制taskset -pc 0,2 <PID> # 绑定到核心0和2
3. 内存问题诊断与优化
3.1 内存使用分析
使用free命令查看内存概况：
bash复制free -h
更详细的分析可以使用smem：
bash复制smem -s swap -r
3.2 内存泄漏排查
对于疑似内存泄漏的应用：
- 使用
pmap -x <PID>查看进程内存映射 - 通过
valgrind --tool=memcheck检测内存问题 - 监控
/proc/meminfo中的关键指标
3.3 JVM内存优化
对于Java应用，合理设置内存参数至关重要：
bash复制java -Xms2g -Xmx2g -XX:+UseG1GC ...
关键参数：
- -Xms/-Xmx：堆内存初始/最大值
- -XX:MaxMetaspaceSize：元空间大小
- -XX:+HeapDumpOnOutOfMemoryError：OOM时生成堆转储
4. 磁盘空间不足处理
4.1 快速定位大文件
使用ncdu工具快速分析磁盘使用：
bash复制ncdu /
或者使用find命令：
bash复制find / -type f -size +100M -exec ls -lh {} +
4.2 日志文件管理
对于日志文件过大问题：
- 配置logrotate定期轮转日志
- 使用journalctl管理systemd日志
- 考虑使用ELK等集中式日志方案
4.3 磁盘I/O性能优化
当磁盘I/O成为瓶颈时：
- 使用iotop查看I/O使用情况
- 考虑使用LVM扩展存储
- 对于数据库等I/O密集型应用，使用SSD或RAID
5. 综合故障处理流程
在实际运维中，我总结了一套标准处理流程：
- 通过监控系统确认问题范围
- 使用top/htop查看系统概况
- 根据症状选择针对性工具深入分析
- 实施临时解决方案确保服务可用
- 制定长期优化方案
- 记录问题处理过程并更新应急预案
6. 实用工具推荐
以下是我常用的故障排查工具：
- htop：增强版top
- glances：综合监控工具
- nmon：系统性能监控
- strace：系统调用跟踪
- dstat：资源统计工具
7. 生产环境注意事项
在处理生产环境故障时：
- 优先保证服务可用性
- 变更前做好备份
- 记录所有操作步骤
- 避免在业务高峰期进行重大变更
- 建立完善的监控告警系统
8. 性能优化建议
长期来看，建议：
- 建立基准性能指标
- 定期进行压力测试
- 实施自动化监控
- 保持系统和应用更新
- 遵循最小权限原则配置服务
通过以上方法，可以显著提高Linux服务器的稳定性和性能。在实际操作中，建议先在小规模环境测试验证，再应用到生产环境。