Kubernetes 1.32高可用集群部署实战指南

1. 项目概述

Kubernetes高可用集群部署一直是企业级容器编排平台建设的核心课题。随着Kubernetes 1.32版本的发布，集群部署方案又有了新的优化空间。这个系列教程的第六部分，将重点解决生产环境中控制平面组件的高可用配置问题。

在实际生产环境中，单Master节点的Kubernetes集群存在明显的单点故障风险。当API Server、Controller Manager或Scheduler等核心组件出现故障时，整个集群将面临服务中断的风险。本教程将详细演示如何通过多Master节点部署，结合负载均衡和etcd集群配置，构建真正具备容错能力的Kubernetes控制平面。

2. 环境准备

2.1 硬件资源配置建议

对于生产级Kubernetes高可用集群，建议至少准备3台符合以下规格的服务器作为Master节点：

• CPU: 4核以上（建议8核）
• 内存: 16GB以上（建议32GB）
• 存储: 100GB以上SSD（etcd对磁盘IOPS要求较高）
• 网络: 千兆以太网（建议万兆）

同时需要准备：

• 2台负载均衡器（可以使用Nginx、HAProxy或云厂商提供的LB服务）
• 3-5台Worker节点（根据实际工作负载需求）

注意：所有节点需要确保时间同步（建议部署NTP服务），且主机名、MAC地址和product_uuid在集群内唯一。

2.2 操作系统配置

推荐使用以下操作系统之一：

• Ubuntu 20.04/22.04 LTS
• CentOS 7/8 Stream
• RHEL 8/9

需要完成的通用预配置：

bash复制# 关闭swap
sudo swapoff -a
sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

# 关闭SELinux（仅RHEL/CentOS）
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

# 加载内核模块
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

# 配置sysctl参数
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

sudo sysctl --system

3. 高可用架构设计

3.1 控制平面组件部署模式

Kubernetes 1.32支持两种高可用控制平面部署模式：

1. Stacked etcd拓扑（推荐）：

   • 每个Master节点同时运行kube-apiserver、kube-controller-manager、kube-scheduler和etcd
   • 优点：部署简单，资源利用率高
   • 缺点：etcd和API Server耦合，故障可能相互影响

2. 外部etcd集群：

   • etcd运行在独立的节点上
   • 优点：组件隔离，扩展性强
   • 缺点：部署复杂，需要更多服务器资源

本教程采用Stacked etcd拓扑，这是目前社区推荐的主流方案。

3.2 负载均衡配置

高可用集群需要为API Server配置负载均衡，建议方案：

• 硬件负载均衡器：F5等专业设备
• 软件负载均衡器：HAProxy或Nginx
• 云服务商LB：AWS ALB、GCP LB等

这里以HAProxy为例展示配置：

bash复制frontend k8s-api
    bind *:6443
    mode tcp
    option tcplog
    default_backend k8s-api-backend

backend k8s-api-backend
    mode tcp
    option tcp-check
    balance roundrobin
    server master1 192.168.1.101:6443 check
    server master2 192.168.1.102:6443 check
    server master3 192.168.1.103:6443 check

重要：负载均衡器本身也需要高可用，可以通过VRRP协议（如keepalived）实现主备切换。

4. 集群部署实操

4.1 安装容器运行时

Kubernetes 1.32推荐使用containerd作为容器运行时：

bash复制# 安装containerd
sudo apt-get update && sudo apt-get install -y containerd

# 配置containerd
sudo mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml

# 修改cgroup驱动为systemd
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml

# 重启服务
sudo systemctl restart containerd
sudo systemctl enable containerd

4.2 安装kubeadm、kubelet和kubectl

在所有节点上执行：

bash复制sudo apt-get update && sudo apt-get install -y apt-transport-https ca-certificates curl
sudo curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.32/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
sudo echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.32/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

4.3 初始化第一个Master节点

在第一个Master节点上执行：

bash复制sudo kubeadm init \
  --control-plane-endpoint "LOAD_BALANCER_DNS:LOAD_BALANCER_PORT" \
  --upload-certs \
  --pod-network-cidr=10.244.0.0/16 \
  --service-cidr=10.96.0.0/12 \
  --kubernetes-version v1.32.0

关键参数说明：

• --control-plane-endpoint: 负载均衡器的地址和端口
• --upload-certs: 自动上传证书供其他Master节点使用
• --pod-network-cidr: 需要与后续安装的CNI插件匹配

初始化成功后，按照提示配置kubectl：

bash复制mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

4.4 加入其他Master节点

使用第一个Master节点初始化时输出的命令加入其他Master节点：

bash复制sudo kubeadm join LOAD_BALANCER_DNS:LOAD_BALANCER_PORT \
  --token <token> \
  --discovery-token-ca-cert-hash sha256:<hash> \
  --control-plane \
  --certificate-key <key>

4.5 验证集群状态

在所有Master节点配置完成后，执行：

bash复制kubectl get nodes
kubectl get pods -n kube-system

应该看到所有Master节点状态为Ready，并且核心组件（apiserver、controller-manager、scheduler）有多个副本运行在不同的节点上。

5. 网络插件部署

高可用集群需要可靠的CNI插件，这里以Calico为例：

bash复制kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/calico.yaml

部署完成后验证：

bash复制kubectl get pods -n kube-system -l k8s-app=calico-node

6. 关键配置优化

6.1 etcd性能调优

修改etcd的Pod manifest（通常在/etc/kubernetes/manifests/etcd.yaml）：

yaml复制spec:
  containers:
  - command:
    - etcd
    - --heartbeat-interval=100
    - --election-timeout=500
    - --quota-backend-bytes=8589934592  # 8GB
    - --max-request-bytes=15728640
    - --snapshot-count=10000

6.2 API Server参数优化

修改kube-apiserver.yaml：

yaml复制spec:
  containers:
  - command:
    - kube-apiserver
    - --default-not-ready-toleration-seconds=30
    - --default-unreachable-toleration-seconds=30
    - --max-mutating-requests-inflight=600
    - --max-requests-inflight=1200

7. 高可用验证测试

7.1 节点故障模拟

1. 随机停止一个Master节点的kubelet服务：

   bash复制sudo systemctl stop kubelet
   

2. 观察集群状态：

   bash复制kubectl get nodes
   kubectl get pods -n kube-system -o wide
   

3. 验证业务Pod是否不受影响

7.2 网络分区测试

1. 使用iptables模拟网络分区：

   bash复制sudo iptables -A INPUT -p tcp --dport 6443 -j DROP
   

2. 验证其他Master节点是否接管服务
3. 恢复网络后验证集群状态

8. 运维注意事项

1. 证书管理：

   • Kubernetes集群证书默认有效期为1年
   • 使用kubeadm certs check-expiration检查证书有效期
   • 更新证书：kubeadm certs renew all

2. 备份策略：

   • 定期备份etcd数据：

     bash复制ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
     --cacert=/etc/kubernetes/pki/etcd/ca.crt \
     --cert=/etc/kubernetes/pki/etcd/server.crt \
     --key=/etc/kubernetes/pki/etcd/server.key \
     snapshot save snapshot.db
     

   • 备份关键配置文件：
     • /etc/kubernetes/
     • /var/lib/kubelet/
     • /var/lib/etcd/

3. 升级策略：

   • 先升级kubeadm工具
   • 然后升级控制平面节点（一次一个）
   • 最后升级Worker节点
   • 使用kubeadm upgrade plan和kubeadm upgrade apply命令

9. 常见问题排查

9.1 节点加入失败

现象：执行kubeadm join时报错"Unable to connect to the server"

排查步骤：

1. 检查网络连通性：

   bash复制telnet LOAD_BALANCER_IP 6443
   

2. 验证token有效性（默认24小时过期）：

   bash复制kubeadm token list
   

3. 检查防火墙规则：

   bash复制sudo iptables -L -n
   

9.2 etcd集群健康状态异常

检查命令：

bash复制ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
endpoint health

常见修复方法：

1. 重启异常的etcd Pod
2. 从健康节点恢复数据
3. 检查磁盘空间和IO性能

9.3 控制平面组件崩溃

查看日志：

bash复制journalctl -u kubelet -f
kubectl logs -n kube-system kube-apiserver-master1

典型问题：

1. 证书过期或配置错误
2. 资源不足（OOM）
3. 存储空间不足
4. 网络配置错误