Linux服务器监控：核心指标与最佳实践

1. Linux服务器健康监控概述

在运维工作中，服务器健康监控是确保业务连续性的基础保障。一个典型的Linux服务器监控系统需要实时跟踪CPU、内存、磁盘、网络等核心指标，同时关注系统日志、服务状态等关键信息。我曾管理过数百台生产服务器，深刻体会到完善的监控体系能提前发现80%以上的潜在问题。

2. 核心监控指标详解

2.1 CPU监控要点

CPU使用率是最直观的指标，但需要区分：

• 用户态CPU（us）：应用代码消耗的CPU
• 系统态CPU（sy）：内核操作消耗的CPU
• 等待I/O的CPU（wa）：I/O阻塞时间
• 软中断CPU（si）：软件中断处理时间

推荐使用mpstat -P ALL 1命令查看各核心详细状态。当系统CPU(sy)持续高于20%时，通常表明存在内核态瓶颈。

2.2 内存监控策略

内存监控要关注：

1. 物理内存使用率（通过free -m）
2. Swap使用情况（突然增长预示内存不足）
3. Slab内存（通过slabtop）
4. 内存泄漏（通过vmstat 1观察free内存趋势）

重要提示：不要被Linux的"可用内存少"假象迷惑，缓存占用（buff/cache）是正常的内存利用机制。

2.3 磁盘监控实践

磁盘监控需要多维度数据：

bash复制# I/O负载
iostat -x 1

# 空间使用
df -Th

# inode使用
df -i

特别要注意%util和await指标，当util持续>80%或await>10ms时，说明磁盘可能成为瓶颈。

3. 网络监控方案

3.1 基础网络指标

• 带宽使用：nload或iftop
• 连接数：ss -s
• TCP重传率：netstat -s | grep retransmit

3.2 高级网络诊断

对于网络问题，我常用的排查组合：

bash复制# 实时流量分析
tcpdump -ni eth0 -w capture.pcap

# 延迟测量
mtr -rwbzc 100 目标IP

# 带宽测试
iperf3 -c 测试服务器IP

4. 日志监控体系

4.1 系统日志监控

配置rsyslog或journald集中管理日志，重点关注：

• 内核日志（dmesg）
• 认证日志（/var/log/secure）
• 系统消息（/var/log/messages）

4.2 应用日志处理

推荐使用ELK栈（Elasticsearch+Logstash+Kibana）处理应用日志，关键配置：

yaml复制# Logstash示例配置
input {
  file {
    path => "/var/log/nginx/*.log"
    start_position => "beginning"
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
  }
}

5. 监控工具选型

5.1 传统监控方案对比

5.2 现代监控栈推荐

我的生产环境标准配置：

1. 数据采集：Prometheus + node_exporter
2. 可视化：Grafana
3. 日志：Loki
4. 告警：Alertmanager

部署示例：

bash复制# 安装node_exporter
wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
tar xvfz node_exporter-*
cd node_exporter-*
./node_exporter &

6. 告警策略优化

6.1 告警分级原则

• P0级（立即处理）：服务不可用、数据丢失
• P1级（1小时内）：性能严重下降
• P2级（24小时内）：潜在风险
• P3级（周报跟踪）：优化建议

6.2 智能告警实践

避免告警风暴的配置技巧：

yaml复制# Alertmanager配置示例
route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'slack-notifications'

7. 性能调优案例

7.1 MySQL性能问题排查

曾处理过一个典型案例：某数据库CPU持续100%，通过以下步骤定位：

1. top -H找到高CPU线程
2. perf top -p 进程ID查看热点函数
3. 发现是全表扫描导致，通过EXPLAIN验证
4. 添加合适索引后CPU降至15%

7.2 内存泄漏诊断

使用valgrind --tool=memcheck检测内存泄漏，配合pmap -x 进程ID观察内存分布变化。

8. 容器环境监控要点

8.1 cAdvisor部署

bash复制docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  google/cadvisor:latest

8.2 K8s监控方案

推荐使用kube-prometheus-stack，包含：

• Prometheus Operator
• kube-state-metrics
• Grafana
• 预置的监控面板

9. 安全监控配置

9.1 入侵检测系统

部署AIDE进行文件完整性检查：

bash复制# 初始化数据库
aide --init

# 日常检查
aide --check

9.2 登录监控

配置fail2ban防止暴力破解：

ini复制# jail.local配置
[sshd]
enabled = true
maxretry = 3
bantime = 1h

10. 监控系统维护建议

1. 定期检查监控系统自身健康状态
2. 每季度评审告警规则有效性
3. 监控数据保留策略（通常指标数据30天，日志7天）
4. 建立监控系统的灾备方案

在实际运维中，我发现很多问题可以通过优化监控配置提前发现。比如将磁盘空间预测性告警阈值设置为"7天内可能写满"，比单纯设置90%使用率告警更有预见性。