CentOS上部署Kubernetes 1.23.17与KubeSphere全指南

1. 项目概述

在容器化技术日益普及的今天，Kubernetes（简称k8s）已经成为企业级容器编排的事实标准。而KubeSphere作为一款开源的Kubernetes管理平台，为k8s提供了友好的可视化界面和丰富的功能扩展。本文将详细介绍在CentOS系统上从零开始部署k8s 1.23.17版本并集成KubeSphere的全过程。

这个部署方案特别适合以下场景：

• 企业内网环境搭建私有云平台
• 开发测试环境构建
• 学习Kubernetes和容器编排技术
• 需要可视化k8s管理的场景

2. 环境准备与系统配置

2.1 硬件与系统要求

在开始部署前，我们需要确保环境满足以下最低要求：

• 至少2台CentOS 7/8服务器（1台master，1台worker）
• 每台服务器配置：
  • CPU：2核以上
  • 内存：4GB以上（建议8GB）
  • 磁盘：40GB以上
• 网络要求：
  • 所有节点间网络互通
  • 关闭防火墙或配置正确的规则
  • 确保主机名解析正常

注意：生产环境建议使用更高配置，特别是内存和CPU资源。KubeSphere对资源要求较高，小型环境可能会出现性能问题。

2.2 系统基础配置

在所有节点上执行以下基础配置：

1. 设置主机名并配置hosts文件：

bash复制# 设置主机名（在各节点分别执行）
hostnamectl set-hostname master-node  # 在master节点执行
hostnamectl set-hostname worker-node1 # 在worker节点执行

# 编辑/etc/hosts文件，添加所有节点的IP和主机名映射
echo "192.168.1.100 master-node" >> /etc/hosts
echo "192.168.1.101 worker-node1" >> /etc/hosts

2. 关闭SELinux：

bash复制setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

3. 关闭swap分区：

bash复制swapoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

4. 配置系统内核参数：

bash复制cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

2.3 安装Docker容器运行时

Kubernetes 1.23版本支持多种容器运行时，这里我们选择Docker作为容器运行时环境。

1. 安装Docker CE：

bash复制# 安装依赖
yum install -y yum-utils device-mapper-persistent-data lvm2

# 添加Docker仓库
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# 安装Docker
yum install -y docker-ce docker-ce-cli containerd.io

# 启动Docker并设置开机自启
systemctl enable docker && systemctl start docker

2. 配置Docker使用systemd作为cgroup驱动（与k8s保持一致）：

bash复制mkdir /etc/docker
cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

systemctl restart docker

3. Kubernetes集群部署

3.1 安装kubeadm、kubelet和kubectl

在所有节点上执行以下命令安装Kubernetes组件：

1. 添加Kubernetes仓库：

bash复制cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

2. 安装指定版本(1.23.17)的kubeadm、kubelet和kubectl：

bash复制yum install -y kubelet-1.23.17 kubeadm-1.23.17 kubectl-1.23.17 --disableexcludes=kubernetes

systemctl enable --now kubelet

3.2 初始化Master节点

在master节点上执行初始化命令：

bash复制kubeadm init \
  --kubernetes-version=v1.23.17 \
  --pod-network-cidr=10.244.0.0/16 \
  --apiserver-advertise-address=192.168.1.100 \
  --ignore-preflight-errors=Swap

注意：这里的--apiserver-advertise-address需要替换为你master节点的实际IP地址。

初始化成功后，会输出类似以下信息：

code复制Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.1.100:6443 --token xxxx.xxxxxxxxxxxx \
  --discovery-token-ca-cert-hash sha256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

按照提示执行以下命令配置kubectl：

bash复制mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

3.3 安装Pod网络插件

Kubernetes需要网络插件来实现Pod间的通信，这里我们选择Flannel：

bash复制kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

验证网络插件是否正常工作：

bash复制kubectl get pods -n kube-system

应该能看到flannel相关的pod处于Running状态。

3.4 加入Worker节点

在每个worker节点上执行master节点初始化成功后输出的join命令，例如：

bash复制kubeadm join 192.168.1.100:6443 --token xxxx.xxxxxxxxxxxx \
  --discovery-token-ca-cert-hash sha256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

加入成功后，在master节点上执行以下命令查看节点状态：

bash复制kubectl get nodes

所有节点应该显示为Ready状态。

4. KubeSphere部署

4.1 安装准备工作

在部署KubeSphere前，我们需要确保集群满足以下要求：

1. 检查集群资源是否足够：

bash复制kubectl get nodes
kubectl describe node <node-name>

2. 安装Helm（KubeSphere的安装工具）：

bash复制curl https://baltocdn.com/helm/signing.asc | sudo apt-key add -
sudo apt-get install apt-transport-https --yes
echo "deb https://baltocdn.com/helm/stable/debian/ all main" | sudo tee /etc/apt/sources.list.d/helm-stable-debian.list
sudo apt-get update
sudo apt-get install helm

4.2 安装KubeSphere Core

1. 首先安装KubeSphere的CRD：

bash复制kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.1/kubesphere-installer-cr.yaml
kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.1/cluster-configuration.yaml

2. 检查安装日志：

bash复制kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

4.3 访问KubeSphere控制台

安装完成后，获取KubeSphere控制台的访问地址：

bash复制kubectl get svc -n kubesphere-system | grep ks-console

默认情况下，KubeSphere控制台服务类型为NodePort，可以通过任意节点的IP和分配的端口号访问。默认用户名和密码为：

• 用户名：admin
• 密码：P@88w0rd

安全提示：首次登录后请立即修改默认密码！

5. 常见问题与解决方案

5.1 kubeadm init卡住问题

如果kubeadm init命令长时间卡住，可能是镜像拉取问题。可以尝试以下解决方案：

1. 预先拉取镜像：

bash复制kubeadm config images pull --kubernetes-version=v1.23.17

2. 检查镜像拉取代理配置：

bash复制cat /etc/docker/daemon.json

确保配置了正确的镜像仓库或代理。

5.2 节点NotReady状态

如果节点长时间处于NotReady状态，可能的原因和解决方案：

1. 网络插件未正确安装：

bash复制kubectl get pods -n kube-system

检查flannel或calico等网络插件pod是否正常运行。

2. 检查kubelet日志：

bash复制journalctl -u kubelet -f

5.3 KubeSphere安装失败

KubeSphere安装失败通常是由于资源不足导致：

1. 检查资源使用情况：

bash复制kubectl top nodes
kubectl describe pods -n kubesphere-system

2. 可以尝试最小化安装：

bash复制vim cluster-configuration.yaml

将ks-installer的spec中的components设置为最小安装。

6. 集群维护与优化

6.1 日常维护命令

1. 查看集群状态：

bash复制kubectl get componentstatuses
kubectl get nodes

2. 查看系统pod状态：

bash复制kubectl get pods -n kube-system

3. 查看集群事件：

bash复制kubectl get events --sort-by=.metadata.creationTimestamp

6.2 资源监控与告警

KubeSphere内置了监控功能，但也可以额外配置：

1. 启用KubeSphere监控：

bash复制kubectl edit cc -n kubesphere-system ks-installer

将spec.monitoring.enabled设置为true

2. 配置自定义告警规则：
   通过KubeSphere控制台配置或使用Prometheus原生配置。

6.3 备份与恢复

1. 备份etcd数据：

bash复制ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save snapshot.db

2. 恢复etcd数据：

bash复制ETCDCTL_API=3 etcdctl snapshot restore snapshot.db \
  --data-dir /var/lib/etcd-backup

7. 生产环境建议

对于生产环境部署，建议考虑以下增强措施：

1. 高可用部署：

   • 部署多个master节点
   • 使用负载均衡器暴露API Server
   • 配置etcd集群

2. 安全加固：

   • 启用RBAC
   • 配置网络策略
   • 定期轮换证书
   • 启用审计日志

3. 存储方案：

   • 配置持久化存储（如Ceph、NFS、云存储等）
   • 根据应用需求选择合适的StorageClass

4. 日志收集：

   • 部署ELK或EFK日志系统
   • 配置日志轮转策略

5. 性能优化：

   • 调整kubelet资源预留
   • 优化调度策略
   • 配置HPA自动扩缩容

在实际操作中，我发现以下几个经验点特别值得注意：

• 在资源有限的测试环境中，可以先禁用KubeSphere的一些非核心组件以降低资源消耗
• 生产环境务必做好etcd的备份策略，这是集群的核心数据存储
• 网络插件的选择会影响集群性能和功能，需要根据实际需求评估
• 定期检查证书有效期，避免因证书过期导致集群不可用