Kubernetes运维实战：安全维护集群节点的完整操作指南

1. 节点维护前的准备工作

想象一下这样的场景：凌晨两点，你收到告警通知，生产环境中的某个Kubernetes节点出现硬件故障需要紧急维护。此时如何在不影响线上服务的情况下安全地将该节点下线？这正是每个Kubernetes运维工程师必须掌握的核心技能。

在开始任何节点维护操作前，完善的准备工作能避免80%的意外状况。首先需要确认节点状态：

bash复制kubectl get nodes
kubectl describe node <node-name>

重点关注以下指标：

• Ready状态：确认节点是否健康
• MemoryPressure/DiskPressure：检查资源压力
• Taints/Tolerations：了解节点的调度约束

重要提示：始终在维护前创建集群状态的快照，包括所有运行中的Pod和节点配置。可以使用kubectl get all --all-namespaces -o yaml > cluster-snapshot.yaml保存当前状态。

风险评估矩阵应包含：

2. 节点隔离的艺术：深入理解Cordon

2.1 Cordon的核心机制

当我们需要对节点进行维护时，第一步就是使用kubectl cordon将其标记为不可调度。这个看似简单的命令背后，Kubernetes调度器会执行以下动作：

1. 将节点的spec.unschedulable字段设为true
2. 调度器将该节点从候选节点池中排除
3. 新的Pod将不会被调度到该节点

典型应用场景包括：

• 计划内维护前的准备
• 问题节点的临时隔离
• 金丝雀发布时的流量控制

2.2 高级隔离策略

对于复杂的生产环境，单纯的cordon可能不够。我们可以结合以下策略：

bash复制# 同时添加NoSchedule污点
kubectl taint nodes <node-name> dedicated=maintenance:NoSchedule

这种组合方式提供了双重保障：

1. 防止新Pod调度
2. 即使有Pod配置了容忍度，也不会被调度到维护中的节点

3. 安全驱逐Pod：Drain的实战技巧

3.1 基础驱逐流程

kubectl drain是节点维护中最关键的步骤，它将：

1. 自动执行cordon操作
2. 驱逐节点上所有可迁移的Pod
3. 等待Pod在其他节点上重新调度

基本命令格式：

bash复制kubectl drain <node-name> --ignore-daemonsets --delete-emptydir-data

3.2 处理特殊Pod类型

不同类型的Pod需要特别处理：

DaemonSet Pods

• 默认情况下不会被驱逐
• 使用--ignore-daemonsets显式声明
• 如需强制删除需结合--force参数

有本地存储的Pod

• emptyDir数据默认保留
• 添加--delete-emptydir-data删除临时数据

受PDB保护的Pod

• 检查PodDisruptionBudget配置
• 确保驱逐不会违反最小可用副本数

3.3 优雅驱逐的最佳实践

为了最小化服务影响，建议采用分批次驱逐策略：

1. 首先驱逐无状态服务
2. 然后处理有状态服务
3. 最后处理关键系统组件

可以使用以下命令实现分批驱逐：

bash复制# 先驱逐特定标签的Pod
kubectl drain <node-name> --pod-selector='app=non-critical'

4. 维护后的恢复操作

4.1 Uncordon的注意事项

维护完成后，使用kubectl uncordon恢复节点时需要注意：

1. 先验证节点健康状况

   bash复制kubectl get node <node-name> -o wide
   

2. 检查系统负载是否正常
3. 确认关键服务已正常运行

4.2 渐进式恢复策略

对于大型集群，建议采用渐进式恢复：

1. 先取消cordon状态

   bash复制kubectl uncordon <node-name>
   

2. 逐步移除污点

   bash复制kubectl taint nodes <node-name> dedicated-
   

3. 监控节点负载情况
4. 根据需要调整Pod分布

5. 实战案例：内核升级全流程

让我们通过一个实际案例来串联所有操作。假设需要对节点进行内核升级：

bash复制# 1. 预检查
kubectl get pods -o wide | grep <node-name>

# 2. 隔离节点
kubectl cordon <node-name>

# 3. 安全驱逐
kubectl drain <node-name> \
  --ignore-daemonsets \
  --grace-period=900 \
  --timeout=10m

# 4. 执行维护（SSH到节点）
sudo apt update && sudo apt upgrade linux-image-generic

# 5. 重启节点
sudo reboot

# 6. 等待节点重新加入集群
watch kubectl get nodes

# 7. 恢复调度
kubectl uncordon <node-name>

# 8. 验证服务
kubectl get pods -o wide | grep <node-name>

6. 高级运维技巧

6.1 大规模集群维护策略

当需要维护多个节点时，应考虑：

• 滚动维护：每次只维护部分节点
• 区域感知：避免同时维护同一可用区的节点
• 时间窗口选择：在低峰期执行

6.2 自动化维护方案

对于频繁的维护操作，可以建立自动化流程：

bash复制#!/bin/bash
NODE=$1

# 安全隔离和驱逐
kubectl cordon $NODE
kubectl drain $NODE --ignore-daemonsets --delete-emptydir-data

# 执行维护脚本
ssh $NODE 'sudo /opt/maintenance/standard.sh'

# 健康检查
ssh $NODE 'kubectl node-health-check'

# 恢复服务
kubectl uncordon $NODE

6.3 监控与告警集成

在维护过程中，应实时监控：

• 集群整体资源利用率
• 被驱逐Pod的重调度状态
• 关键业务指标波动

配置关键告警：

• Pod重调度失败
• 节点恢复超时
• 资源水位异常

7. 故障排查指南

遇到问题时，按照以下步骤排查：

1. 检查节点状态详情

   bash复制kubectl describe node <node-name>
   

2. 查看被驱逐Pod事件

   bash复制kubectl get events --field-selector involvedObject.name=<pod-name>
   

3. 验证集群资源余量

   bash复制kubectl describe nodes | grep Allocatable -A 5
   

4. 检查网络连接性

   bash复制kubectl run -it --rm debug --image=busybox --restart=Never -- ping <target>
   

常见问题处理：