Kubernetes节点调度与Kuboard实践指南

1. Kubernetes节点调度基础概念

在Kubernetes集群中，Pod的调度是一个核心功能。默认情况下，Kubernetes的调度器（kube-scheduler）会根据资源请求、节点亲和性等规则自动决定Pod运行在哪个节点上。但在实际生产环境中，我们经常需要手动干预Pod的调度位置，比如：

• 将特定服务固定到某些专用节点
• 避免某些Pod被调度到特定节点
• 根据硬件特性（如GPU、SSD）调度Pod

Kubernetes提供了多种方式来实现这些需求，主要包括：

1. 节点选择器（nodeSelector）：最简单的形式，通过标签匹配
2. 节点亲和性/反亲和性（nodeAffinity）：更灵活的调度规则
3. 污点和容忍度（Taint and Toleration）：阻止或允许Pod调度到特定节点
4. 直接指定节点名称（nodeName）：强制指定，绕过调度器

2. 使用Kuboard修改服务运行节点

Kuboard作为Kubernetes的图形化管理工具，提供了直观的界面来修改这些调度配置。以下是详细操作步骤：

2.1 准备工作

1. 确保已安装Kuboard并拥有适当权限
2. 确认目标节点已打上所需标签（如无则需先添加）
3. 确定要修改的服务/工作负载名称

2.2 通过节点选择器指定节点

1. 登录Kuboard控制台
2. 导航到目标命名空间 → 工作负载 → 选择要修改的Deployment/StatefulSet
3. 点击"编辑"按钮进入配置页面
4. 找到"调度规则"或"高级设置"部分
5. 在"节点选择器"字段添加键值对，例如：

   code复制disktype: ssd
   

6. 点击"保存"应用更改

注意：修改后，Kubernetes会逐步将Pod迁移到符合标签的节点上，这可能导致短暂的服务中断。

2.3 配置节点亲和性

对于更复杂的调度需求，可以使用节点亲和性规则：

1. 在Kuboard编辑界面找到"亲和性"设置
2. 选择"节点亲和性"选项卡
3. 添加规则，例如：
   • 必须运行在带有gpu=true标签的节点上
   • 优先选择zone=east的节点
4. 设置权重（仅对偏好规则有效）
5. 保存配置

2.4 使用污点和容忍度

如果要从节点排除某些Pod：

1. 首先给节点添加污点：

   bash复制kubectl taint nodes node1 key=value:NoSchedule
   

2. 然后在Kuboard中编辑Pod模板：
   • 添加对应的容忍度配置
   • 指定与污点匹配的key、value和effect

3. 实际操作示例

假设我们有一个Spring Boot应用需要运行在带有env=prod标签的节点上：

1. 标记目标节点：

   bash复制kubectl label nodes node1 env=prod
   

2. 通过Kuboard配置：

   • 进入Deployment编辑页面
   • 在"节点选择器"部分添加：

     code复制env: prod
     

   • 保存配置

3. 验证调度结果：

   bash复制kubectl get pods -o wide
   

   确认Pod已调度到正确节点

4. 高级技巧与注意事项

4.1 滚动更新策略

修改节点调度配置会触发Pod重建，建议：

• 设置适当的maxUnavailable和maxSurge值
• 在低峰期执行变更
• 先在小规模环境测试

4.2 多区域部署配置

对于跨可用区部署，可以使用拓扑分布约束：

yaml复制topologySpreadConstraints:
- maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule

4.3 资源监控与调整

修改调度配置后需监控：

• 节点资源利用率（CPU/内存）
• Pod分布是否均衡
• 是否有Pending状态的Pod

4.4 常见问题排查

问题1：Pod一直处于Pending状态

• 检查节点标签是否正确
• 查看事件日志：kubectl describe pod <pod-name>
• 确认节点资源是否充足

问题2：调度变更未生效

• 检查Deployment是否成功更新：kubectl get deployment -o yaml
• 确认控制器管理器日志是否有错误

问题3：节点资源碎片化

• 使用kubectl top nodes查看资源使用情况
• 考虑设置资源请求和限制

5. 最佳实践建议

1. 标签命名规范：

   • 使用一致的标签前缀（如company.com/）
   • 避免使用保留的系统标签
   • 标签值应具有明确语义

2. 渐进式变更：

   • 先添加新标签和规则
   • 再逐步移除旧配置
   • 使用金丝雀发布策略验证

3. 文档记录：

   • 记录所有自定义调度规则
   • 标注修改原因和预期效果
   • 在团队内部分享调度策略

4. 自动化检查：

   • 使用准入控制器验证调度配置
   • 设置监控告警检测异常调度
   • 定期审计节点标签和污点

对于Spring Boot应用特别需要注意的是，JVM应用通常对内存配置敏感，在调整节点调度时：

1. 确保节点有足够内存满足JVM堆设置
2. 考虑使用-XX:+UseContainerSupport参数
3. 监控GC情况，避免因节点切换导致性能波动