Kubernetes生产集群部署指南：kubeadm v1.30.3实战

1. 项目概述

最近在帮客户部署一套生产级Kubernetes集群，选用了官方推荐的kubeadm工具安装最新的v1.30.3版本。kubeadm作为CNCF官方维护的集群引导工具，经过多年迭代已经非常成熟稳定。相比手动部署，它能自动处理证书生成、配置验证等复杂流程，特别适合需要快速搭建符合生产标准的K8s环境。

这次安装的是当前最新的稳定版v1.30.3，包含了最近合并的CVE补丁和调度器优化。下面我会完整记录从环境准备到集群初始化的全流程，重点说明几个关键配置项的优化原理，以及我在实际部署中遇到的典型问题解决方案。

2. 环境准备与系统配置

2.1 服务器规格要求

生产环境建议至少准备3台节点（1 master + 2 worker），配置参考：

• CPU: 4核以上（调度器性能敏感）
• 内存: 8GB+（master节点建议16GB）
• 磁盘: 100GB+（/var/lib/docker需要单独挂载）
• OS: Ubuntu 22.04 LTS / CentOS 7.9+

注意：所有节点需要时间同步（chrony/NTP）和唯一hostname，否则kubeadm init会报错

2.2 内核参数调优

编辑/etc/sysctl.conf添加：

bash复制# 避免swap影响kubelet
vm.swappiness = 0  
# 提升连接跟踪表大小
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.tcp_tw_reuse = 1
# 容器网络需要
fs.inotify.max_user_watches = 1048576

执行sysctl -p生效。这些参数主要解决容器网络转发、文件监控限制等问题。

2.3 容器运行时配置

v1.30.3默认仍使用docker作为运行时（containerd需额外配置），安装后需要修改daemon.json：

json复制{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}

关键点是将cgroup驱动改为systemd以匹配kubelet，否则启动时会报cgroup不一致错误。

3. kubeadm集群初始化

3.1 安装依赖组件

在所有节点执行：

bash复制# 添加K8s源
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" > /etc/apt/sources.list.d/kubernetes.list

# 安装三件套
apt-get update && apt-get install -y kubelet=1.30.3-00 kubeadm=1.30.3-00 kubectl=1.30.3-00

3.2 Master节点初始化

使用自定义配置文件init-config.yaml：

yaml复制apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
nodeRegistration:
  criSocket: "unix:///var/run/dockershim.sock"
  kubeletExtraArgs:
    cgroup-driver: "systemd"
---
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
kubernetesVersion: "1.30.3"
controlPlaneEndpoint: "LOAD_BALANCER_DNS:6443"
networking:
  podSubnet: "10.244.0.0/16"
  serviceSubnet: "10.96.0.0/12"
apiServer:
  extraArgs:
    advertise-address: "MASTER_IP"

执行初始化：

bash复制kubeadm init --config=init-config.yaml --upload-certs

关键参数说明：

• controlPlaneEndpoint: 高可用必填，指向负载均衡器
• podSubnet: 需要与后续安装的CNI插件匹配
• upload-certs: 自动分发证书到其他master节点

3.3 Worker节点加入

初始化完成后会输出join命令，形式如下：

bash复制kubeadm join 10.0.0.1:6443 --token xxxx \
  --discovery-token-ca-cert-hash sha256:xxxx

如果token过期（默认24h），可在master上重新生成：

bash复制kubeadm token create --print-join-command

4. 网络插件与附加组件

4.1 安装Flannel网络

下载flannel的kube-flannel.yml后，需要确认网段与init-config.yaml中的podSubnet一致：

bash复制kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

4.2 部署CoreDNS

v1.30.3默认已包含CoreDNS，检查状态：

bash复制kubectl get pods -n kube-system -l k8s-app=kube-dns

如果需要自定义配置，可以编辑configmap：

bash复制kubectl edit configmap coredns -n kube-system

5. 生产环境关键配置

5.1 证书自动续期

kubeadm默认证书有效期为1年，启用自动续期：

bash复制kubeadm alpha certs renew all
# 并修改kube-controller-manager配置
kubectl edit deploy -n kube-system kube-controller-manager
# 添加 --experimental-cluster-signing-duration=87600h

5.2 高可用方案

多master节点需要：

1. 配置负载均衡器（如HAProxy）指向所有master
2. 其他master节点使用kubeadm join时添加--control-plane参数
3. 确保etcd集群健康：

bash复制kubectl get pods -n kube-system -l component=etcd

6. 常见问题排查

6.1 kubelet启动失败

典型错误：

code复制failed to load Kubelet config file /var/lib/kubelet/config.yaml

解决方法：

• 检查/etc/systemd/system/kubelet.service.d/10-kubeadm.conf中的配置路径
• 确保kubeadm init已生成config.yaml

6.2 coredns CrashLoopBackOff

可能原因：

• 网络插件未正确安装
• podSubnet与CNI配置不匹配
  排查步骤：

bash复制kubectl logs -n kube-system coredns-xxxx
kubectl describe pod -n kube-system coredns-xxxx

6.3 节点NotReady状态

检查方向：

1. 网络插件是否正常运行
2. kubelet日志是否有错误：

bash复制journalctl -u kubelet -f

3. 节点资源是否不足（如磁盘空间）

7. 集群验证与测试

7.1 基础功能验证

创建测试pod：

bash复制kubectl run nginx --image=nginx --restart=Never
kubectl expose pod nginx --port=80

检查服务发现和网络连通性。

7.2 性能基准测试

使用kubemark工具模拟负载：

bash复制kubectl create -f https://k8s.io/examples/application/nginx-rs.yaml
kubectl scale --replicas=100 rs/nginx

观察调度器性能和节点资源使用情况。

8. 升级与维护

8.1 版本升级路径

kubeadm支持跨版本升级，但建议逐步进行：
1.30.x → 1.31.x → 1.32.x

升级命令：

bash复制kubeadm upgrade plan
kubeadm upgrade apply v1.31.0

8.2 关键监控指标

建议监控：

• etcd存储大小（不超过2GB）
• API Server请求延迟
• 调度器Pending pods数量
• 节点CPU/内存/磁盘压力

配置示例：

bash复制kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
kubectl top nodes

9. 安全加固建议

9.1 RBAC最小权限

创建自定义ServiceAccount：

yaml复制apiVersion: v1
kind: ServiceAccount
metadata:
  name: limited-user
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["get", "list"]

9.2 Pod安全策略

启用PSP（需API Server开启对应feature gate）：

yaml复制apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
  name: restricted
spec:
  privileged: false
  runAsUser:
    rule: 'MustRunAsNonRoot'

10. 备份与恢复

10.1 etcd数据备份

手动备份：

bash复制ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save snapshot.db

10.2 集群状态备份

关键文件包括：

• /etc/kubernetes/pki
• /etc/kubernetes/admin.conf
• ~/.kube/config

建议使用velero进行应用级备份：

bash复制velero install --provider aws --plugins velero/velero-plugin-for-aws:v1.0.0 \
  --bucket my-backup --secret-file ./credentials-velero