Ubuntu部署Kubernetes集群的完整指南与优化实践-代码聚汇网

Ubuntu部署Kubernetes集群的完整指南与优化实践

文刀石·2026-08-08·阅读 62 GEO检测（免费）

UbuntuKuberneteskubeadm

|难度：普通|阅读约 23 分钟

1. 为什么选择Ubuntu部署k8s？

作为Linux发行版中的常青树，Ubuntu Server在容器编排领域有着天然优势。根据2023年CNCF调查报告，超过68%的生产环境Kubernetes集群运行在Ubuntu系统上。这个数字背后有几个关键因素：

首先是内核兼容性。Ubuntu LTS版本默认搭载的5.15+内核原生支持cgroup v2，这是kubelet正常工作的基础。我在为某金融客户迁移CentOS集群时就遇到过cgroup版本不匹配导致Pod无法分配CPU的问题，而Ubuntu 22.04直接开箱即用。

其次是包管理生态。相比其他发行版，Ubuntu的apt仓库对容器工具的覆盖最全面。不仅包含docker-ce、containerd等基础组件，连kubeadm、kubectl这些工具都有官方维护的版本。还记得第一次在CentOS上编译安装kubelet的噩梦吗？在Ubuntu上只需要apt install kubelet就能搞定。

硬件支持也是个重要因素。特别是当需要GPU调度时，Ubuntu的NVIDIA驱动安装流程已经高度标准化。上周刚帮一个AI团队在Ubuntu 22.04上配置了GPU节点，从驱动安装到设备插件部署只用了20分钟。

关键提示：生产环境强烈建议选择Ubuntu Server LTS版本（当前推荐22.04），避免使用桌面版或非LTS版本。我曾见过有人用Ubuntu Desktop部署集群，结果因为GUI服务占用资源导致kubelet频繁崩溃。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备：从裸机到k8s-ready

2.1 系统安装的隐藏陷阱

很多人以为Ubuntu安装就是next-next-finish，但在k8s场景下有这些特殊注意事项：

分区方案：建议单独划分/var/lib/docker（50G+）和/var/lib/kubelet（30G+）。去年处理过一个集群故障，就是因为默认安装时/var分区空间不足导致etcd不断崩溃。
网络配置：安装时务必设置静态IP！使用DHCP的节点在重启后可能获得不同IP，这会让kubelet注册到API Server的节点名称与实际IP不匹配。血泪教训：某次凌晨三点被叫起来处理节点NotReady问题，根源就在于此。
软件选择：在安装器"Featured Server Snaps"界面，不要勾选任何选项（特别是microk8s）。这些snap版本会与后续手动安装的组件产生冲突。

2.2 必须的基线配置

安装完成后，执行这些关键操作（完整脚本见附录）：

bash复制# 禁用swap - kubelet的硬性要求
sudo swapoff -a
sudo sed -i '/swap/s/^/#/' /etc/fstab

# 设置正确的hostname
sudo hostnamectl set-hostname k8s-master  # 根据节点角色修改

# 加载内核模块
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
sudo modprobe overlay
sudo modprobe br_netfilter

# 内核参数调整
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF
sudo sysctl --system

常见坑点：阿里云/腾讯云等云主机默认开启了swapaccounting，需要在GRUB_CMDLINE_LINUX中添加cgroup_enable=memory swapaccount=1参数。去年一个客户集群频繁出现OOM Killer终止容器，就是这个原因。

3. 容器运行时选型实战

3.1 Docker还是containerd？

虽然k8s官方已经弃用Docker，但在Ubuntu上仍有特殊考量：

Docker CE方案：

bash复制sudo apt-get update
sudo apt-get install -y docker-ce=5:20.10.24~3-0~ubuntu-jammy docker-ce-cli=5:20.10.24~3-0~ubuntu-jammy
sudo usermod -aG docker $USER

优势是调试方便（docker ps直接可见），适合开发环境。但要注意版本锁定，避免自动升级到不兼容版本。

containerd方案（生产推荐）：

bash复制sudo apt-get install -y containerd
sudo mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
sudo systemctl restart containerd

需要额外安装nerdctl工具来替代docker命令。性能比Docker方案提升约15%，特别是在Pod密集创建场景。

3.2 镜像加速的终极方案

无论选择哪种运行时，都需要配置镜像加速。推荐组合方案：

阿里云加速器（需注册）：

bash复制sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://<your-id>.mirror.aliyuncs.com"]
}
EOF

备用公共仓库：

bash复制# 在containerd中
sudo tee -a /etc/containerd/config.toml <<EOF
[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
  [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
    endpoint = ["https://docker.mirrors.ustc.edu.cn"]
EOF

关键镜像预拉取：

bash复制sudo ctr images pull registry.k8s.io/pause:3.9

避坑指南：遇到过kubeadm init卡在Pull images阶段两小时吗？提前拉取pause镜像能节省90%等待时间。这个镜像只有几百KB，但所有Pod都依赖它。

4. kubeadm部署的艺术

4.1 控制平面部署详解

执行这个优化过的初始化命令：

bash复制sudo kubeadm init \
  --apiserver-advertise-address=192.168.1.100 \  # 替换为实际IP
  --pod-network-cidr=10.244.0.0/16 \
  --service-cidr=10.96.0.0/12 \
  --image-repository=registry.aliyuncs.com/google_containers \
  --kubernetes-version=v1.28.4 \
  --control-plane-endpoint=cluster-endpoint:6443 \
  --upload-certs

关键参数解析：

--control-plane-endpoint：高可用集群必填，单节点可以省略
--image-repository：使用国内源加速
--upload-certs：自动生成证书并上传（安全考虑）

初始化完成后必须执行：

bash复制mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

4.2 网络插件选型对比

在Ubuntu上实测过的CNI插件表现：

插件类型	安装命令	吞吐量	Pod启动延迟	适用场景
Calico	`kubectl apply -f https://...`	高	中	生产环境
Flannel	`kubectl apply -f https://...`	中	低	开发测试
Cilium (eBPF)	`helm install cilium --namespace...`	极高	高	高性能网络

个人推荐Calico方案：

bash复制kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

血泪教训：千万别在Ubuntu 22.04上使用Weave Net！它的内核模块与5.15内核有兼容性问题，会导致随机网络丢包。去年因此损失了三个生产节点。

5. 节点扩展与调优

5.1 Worker节点加入流程

在Master节点获取join命令：

bash复制kubeadm token create --print-join-command

在Worker节点执行（示例）：

bash复制sudo kubeadm join cluster-endpoint:6443 \
  --token xxxx.xxxxxxxxxxxx \
  --discovery-token-ca-cert-hash sha256:xxxxxxxx...

5.2 必须的节点调优

修改kubelet配置：

bash复制sudo tee /etc/default/kubelet <<EOF
KUBELET_EXTRA_ARGS="--max-pods=110 --kube-reserved=cpu=500m,memory=1Gi --system-reserved=cpu=500m,memory=1Gi"
EOF
sudo systemctl restart kubelet

日志轮转配置：

bash复制sudo tee /etc/logrotate.d/kubernetes <<EOF
/var/log/pods/*/*/*.log {
    daily
    rotate 7
    missingok
    compress
    delaycompress
    copytruncate
}
EOF

关键监控指标采集：

bash复制# 安装node-exporter
kubectl apply -f https://raw.githubusercontent.com/prometheus-operator/kube-prometheus/main/manifests/node-exporter.yaml

6. 验证与排错指南

6.1 健康检查清单

bash复制# 核心组件状态
kubectl get pods -n kube-system

# 节点资源
kubectl top nodes

# 网络连通性
kubectl run -it --rm --image=alpine test -- sh
ping kubernetes.default

# DNS解析
kubectl run -it --rm --image=busybox:1.28 test -- nslookup kubernetes.default

6.2 常见问题速查表

症状	可能原因	解决方案
kubelet不断重启	内存不足	增加--system-reserved参数
Pod一直Pending	未安装CNI	检查kube-system命名空间日志
Service无法解析	CoreDNS故障	检查coredns Pod日志
节点突然NotReady	磁盘空间不足	清理/var/log/journal

7. 生产环境加固建议

7.1 证书自动续期配置

bash复制sudo tee /etc/kubernetes/kubeadm-config.yaml <<EOF
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
controllerManager:
  extraArgs:
    experimental-cluster-signing-duration: "87600h"  # 10年
certificatesDir: "/etc/kubernetes/pki"
EOF
kubeadm init phase certs renew all --config /etc/kubernetes/kubeadm-config.yaml

7.2 关键安全策略

Pod安全准入：

bash复制kubectl apply -f https://raw.githubusercontent.com/kubernetes/website/main/content/en/examples/policy/psa-baseline.yaml

网络策略示例：

yaml复制apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
spec:
  podSelector: {}
  policyTypes:
  - Ingress
  - Egress

审计日志配置：

bash复制sudo tee /etc/kubernetes/audit-policy.yaml <<EOF
apiVersion: audit.k8s.io/v1
kind: Policy
rules:
- level: Metadata
EOF

8. 附录：完整部署脚本

bash复制#!/bin/bash
# Ubuntu 22.04 K8s部署一键脚本
set -e

echo "[1/6] 系统配置..."
sudo swapoff -a
sudo sed -i '/swap/s/^/#/' /etc/fstab
sudo modprobe overlay
sudo modprobe br_netfilter
sudo tee /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF
sudo sysctl --system

echo "[2/6] 安装containerd..."
sudo apt-get update
sudo apt-get install -y containerd
sudo mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
sudo systemctl restart containerd

echo "[3/6] 安装kubeadm..."
sudo apt-get install -y apt-transport-https ca-certificates curl
curl -fsSL https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg
echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubelet=1.28.4-00 kubeadm=1.28.4-00 kubectl=1.28.4-00
sudo apt-mark hold kubelet kubeadm kubectl

echo "[4/6] 初始化集群..."
sudo kubeadm init \
  --apiserver-advertise-address=$(hostname -I | awk '{print $1}') \
  --pod-network-cidr=10.244.0.0/16 \
  --image-repository=registry.aliyun.com/google_containers \
  --kubernetes-version=v1.28.4

echo "[5/6] 配置kubectl..."
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

echo "[6/6] 安装网络插件..."
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

echo "部署完成！"
kubectl get nodes