Kubernetes核心组件异常排查指南：kube-system命名空间实战

1. 为什么需要关注kube-system命名空间的Pod异常？

在Kubernetes集群运维中，kube-system命名空间就像人体中的神经系统，承载着集群的核心组件。这个命名空间里的Pod一旦出现异常，轻则导致服务降级，重则引发整个集群瘫痪。我经历过多次因kube-system组件异常引发的生产事故，深刻体会到快速定位问题的重要性。

与普通业务Pod不同，kube-system中的组件（如kube-proxy、CoreDNS、metrics-server等）具有以下特点：

• 高敏感性：核心组件故障会产生级联反应
• 复杂依赖：组件间存在网状依赖关系
• 特殊调度：部分组件需要特定节点标签
• 资源保障：通常需要配置资源预留

2. 高效排查工具链准备

2.1 基础命令工具强化

工欲善其事必先利其器，这些是我每天都会用到的增强工具：

bash复制# 安装krew插件管理器
(
  set -x; cd "$(mktemp -d)" &&
  OS="$(uname | tr '[:upper:]' '[:lower:]')" &&
  ARCH="$(uname -m | sed -e 's/x86_64/amd64/' -e 's/\(arm\)\(64\)\?.*/\1\2/' -e 's/aarch64$/arm64/')" &&
  KREW="krew-${OS}_${ARCH}" &&
  curl -fsSLO "https://github.com/kubernetes-sigs/krew/releases/latest/download/${KREW}.tar.gz" &&
  tar zxvf "${KREW}.tar.gz" &&
  ./"${KREW}" install krew
)

# 常用插件
kubectl krew install ctx ns debug get-all pod-logs

2.2 排查工具对照表

重要提示：生产环境使用前务必在测试集群验证工具兼容性

3. 四步定位法实战

3.1 第一步：快速状态筛查

bash复制# 一键式状态检查（适合首次快速定位）
kubectl get pods -n kube-system -o wide --sort-by='{.status.phase}' | \
  awk 'NR==1 || $3 != "Running" || $4 != "1/1"'

# 带事件查看的增强版
kubectl get pods -n kube-system -o wide \
  --field-selector=status.phase!=Running -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.phase}{"\t"}{.status.containerStatuses[0].state}{"\n"}{end}' | \
  while read pod phase state; do
    echo "=== $pod ($phase) ==="
    kubectl describe pod -n kube-system $pod | grep -A10 Events:
  done

典型问题模式识别：

• CrashLoopBackOff：配置错误或资源不足
• ImagePullBackOff：镜像拉取失败
• Pending：调度失败
• Error：容器启动失败

3.2 第二步：深度组件诊断

针对不同系统组件，需要采用不同的诊断策略：

CoreDNS异常排查

bash复制# 检查DNS解析延迟
kubectl run -it --rm --restart=Never digtest --image=infoblox/dnstools:latest -- \
  dig +time=2 +tries=1 kubernetes.default.svc.cluster.local

# 查看DNS缓存命中率
kubectl exec -n kube-system $(kubectl get pod -n kube-system -l k8s-app=kube-dns -o name | head -1) -- \
  cat /proc/net/stat/nscd | grep 'hits'

kube-proxy异常排查

bash复制# 检查iptables规则健康状态
kubectl exec -n kube-system $(kubectl get pod -n kube-system -l k8s-app=kube-proxy -o name | head -1) -- \
  iptables-save | grep -E 'KUBE-SVC|KUBE-SEP' | wc -l

# 检查conntrack表项
kubectl exec -n kube-system $(kubectl get pod -n kube-system -l k8s-app=kube-proxy -o name | head -1) -- \
  cat /proc/sys/net/netfilter/nf_conntrack_count

3.3 第三步：资源瓶颈分析

bash复制# 节点资源压力检查
kubectl describe nodes | grep -A10 -E 'Capacity:|Allocatable:|System Info:|Non-terminated Pods:'

# 组件资源使用TOP5
kubectl top pods -n kube-system --sort-by=cpu | head -5
kubectl top pods -n kube-system --sort-by=memory | head -5

# 历史资源使用趋势（需提前安装metrics-server）
kubectl resource-capacity --util --pods --sort cpu.util | grep kube-system

常见资源问题：

• CPU Throttling：查看/sys/fs/cgroup/cpu/cpu.stat中的throttled_time
• OOM Kill：检查dmesg日志dmesg | grep -i oom
• 磁盘压力：检查df -h和du -sh /var/lib/docker/

3.4 第四步：网络连通性验证

bash复制# 创建网络诊断Pod
kubectl run netchecker --image=nicolaka/netshoot --restart=Never -it --rm -- \
  /bin/bash -c "curl -I https://kubernetes.default && \
  dig +short kubernetes.default.svc.cluster.local && \
  ping -c 3 $(kubectl get svc kubernetes -o jsonpath='{.spec.clusterIP}')"

# 服务端点检查
kubectl get endpoints -n kube-system
kubectl get --raw='/api/v1/namespaces/kube-system/services/https:metrics-server:/proxy/healthz'

4. 高级排查技巧

4.1 时间轴分析法

bash复制# 生成事件时间轴（需安装jq）
kubectl get events -n kube-system --sort-by='.lastTimestamp' -o json | \
  jq -r '.items[] | select(.involvedObject.namespace=="kube-system") | "\(.lastTimestamp)\t\(.type)\t\(.involvedObject.kind)/\(.involvedObject.name)\t\(.message)"' | \
  sort -k1

4.2 组件健康检查端点

4.3 性能数据快照

bash复制# 创建诊断包（需要集群管理员权限）
kubectl create cm diagnostic-$(date +%s) -n kube-system --from-literal=timestamp=$(date) \
  --from-file=kubelet.log=/var/log/kubelet.log \
  --from-file=containerd.log=/var/log/containerd.log \
  --from-file=events.json=<(kubectl get events -A -o json) \
  --from-file=top.json=<(kubectl top nodes -o json)

5. 典型故障处理实录

5.1 Case 1：CoreDNS持续重启

现象：

• CoreDNS Pod状态显示CrashLoopBackOff
• 日志中出现plugin/forward: no next plugin defined错误

根因分析：
检查CoreDNS配置发现ConfigMap中forward插件配置缺失

解决方案：

bash复制kubectl edit cm coredns -n kube-system
# 确保配置包含完整forward插件：
# forward . /etc/resolv.conf

5.2 Case 2：kube-proxy规则丢失

现象：

• 服务ClusterIP无法访问
• kube-proxy日志出现Failed to ensure iptables rules警告

处理步骤：

1. 检查内核模块加载：

   bash复制kubectl exec -n kube-system $(kubectl get pod -n kube-system -l k8s-app=kube-proxy -o name) -- \
     lsmod | grep -E 'ip_vs|xt_set'
   

2. 重启kube-proxy：

   bash复制kubectl rollout restart ds kube-proxy -n kube-system
   

5.3 Case 3：metrics-server无数据

诊断流程：

bash复制# 1. 检查APIService注册
kubectl get apiservice v1beta1.metrics.k8s.io -o yaml

# 2. 验证服务端点
kubectl get --raw /apis/metrics.k8s.io/v1beta1/nodes

# 3. 检查证书配置
kubectl exec -n kube-system $(kubectl get pod -n kube-system -l k8s-app=metrics-server -o name) -- \
  cat /var/run/secrets/kubernetes.io/serviceaccount/ca.crt

6. 预防性运维建议

6.1 监控指标配置

建议为kube-system组件配置以下告警规则：

yaml复制# Prometheus示例规则
- alert: KubeSystemPodCrashing
  expr: rate(kube_pod_container_status_restarts_total{namespace="kube-system"}[5m]) > 0
  for: 10m
  labels:
    severity: critical
  annotations:
    summary: "Kube-system pod {{ $labels.pod }} is crashing"
    description: "Pod {{ $labels.pod }} in namespace kube-system has restarted {{ $value }} times in the last 5 minutes"

- alert: KubeComponentUnavailable
  expr: up{job="kube-system"} == 0
  for: 5m
  labels:
    severity: critical

6.2 日常检查清单

建议每日执行以下快速检查：

bash复制# 健康状态快速扫描
kubectl get componentstatuses
kubectl get pods -n kube-system -o wide | grep -v Running

# 资源水位检查
kubectl top nodes
kubectl get events -n kube-system --field-selector type=Warning --sort-by=.lastTimestamp

6.3 关键配置备份

bash复制# 定期备份核心配置
BACKUP_DIR=/backup/k8s-config/$(date +%Y%m%d)
mkdir -p $BACKUP_DIR
kubectl get cm -n kube-system -o yaml > $BACKUP_DIR/kube-system-configmaps.yaml
kubectl get deploy,ds -n kube-system -o yaml > $BACKUP_DIR/kube-system-workloads.yaml