Kubernetes高可用集群中kube-proxy与Calico网络配置实战

1. Kubernetes高可用二进制部署中的kube-proxy与Calico网络

在Kubernetes集群的构建过程中，网络组件和代理服务的配置往往是决定集群稳定性和性能的关键因素。今天我要分享的是基于二进制部署的Kubernetes高可用集群中，kube-proxy与Calico网络插件的实战配置经验。

作为CNCF毕业的第一个项目，Kubernetes已经成为容器编排领域的事实标准。而二进制部署方式虽然步骤相对复杂，但能让我们更深入地理解各个组件的运行机制，特别适合需要对集群有完全控制权的生产环境。

2. kube-proxy的核心作用与配置要点

2.1 kube-proxy在集群中的角色

kube-proxy是Kubernetes网络模型的核心组件之一，它运行在每个节点上，负责维护节点上的网络规则。这些网络规则允许从集群内部或外部的网络会话与Pod进行网络通信。

在二进制部署的高可用集群中，kube-proxy需要与多个Master节点协同工作。它会监听API Server中Service和Endpoint的变化，然后通过配置iptables/ipvs规则来实现服务的负载均衡和流量转发。

2.2 二进制部署下的kube-proxy配置

在二进制部署环境中，kube-proxy的配置需要特别注意以下几点：

1. kubeconfig文件配置：

   bash复制kubectl config set-cluster kubernetes \
     --certificate-authority=/etc/kubernetes/pki/ca.crt \
     --embed-certs=true \
     --server=https://${MASTER_IP}:6443 \
     --kubeconfig=kube-proxy.kubeconfig
   
   kubectl config set-credentials system:kube-proxy \
     --client-certificate=/etc/kubernetes/pki/kube-proxy.crt \
     --client-key=/etc/kubernetes/pki/kube-proxy.key \
     --embed-certs=true \
     --kubeconfig=kube-proxy.kubeconfig
   

2. systemd服务单元文件：

   ini复制[Unit]
   Description=Kubernetes Kube-Proxy Server
   After=network.target
   
   [Service]
   ExecStart=/usr/local/bin/kube-proxy \
     --config=/etc/kubernetes/kube-proxy-config.yaml \
     --v=2
   Restart=on-failure
   LimitNOFILE=65536
   
   [Install]
   WantedBy=multi-user.target
   

3. 代理模式选择：

   • iptables模式：默认选项，规则简单但性能一般
   • ipvs模式：需要内核支持，性能更好但配置复杂
   • userspace模式：已弃用，仅用于兼容旧版本

提示：在生产环境中，如果节点数量超过50个，强烈建议使用ipvs模式以获得更好的性能。

3. Calico网络插件的部署与调优

3.1 Calico与kube-proxy的协同工作

Calico是一个纯三层的网络方案，它通过BGP协议在集群节点间分发路由信息，而kube-proxy则负责Service的负载均衡。两者协同工作时需要注意：

1. IP池配置：

   yaml复制apiVersion: projectcalico.org/v3
   kind: IPPool
   metadata:
     name: default-ipv4-ippool
   spec:
     cidr: 192.168.0.0/16
     blockSize: 26
     natOutgoing: true
     nodeSelector: all()
   

2. 与kube-proxy的兼容性：

   • 确保Calico的IP池不与Service的ClusterIP范围冲突
   • 如果使用ipvs模式，需要开启kube-proxy的strictARP选项

3.2 高可用环境下的Calico配置

在高可用二进制部署中，Calico需要特殊配置以确保网络策略和路由的稳定性：

1. etcd集群配置：

   yaml复制apiVersion: projectcalico.org/v3
   kind: CalicoAPIConfig
   metadata:
   spec:
     etcdEndpoints: "https://etcd1:2379,https://etcd2:2379,https://etcd3:2379"
     etcdKeyFile: /etc/calico/etcd-key
     etcdCertFile: /etc/calico/etcd-cert
     etcdCACertFile: /etc/calico/etcd-ca
   

2. BGP对等体配置：

   yaml复制apiVersion: projectcalico.org/v3
   kind: BGPPeer
   metadata:
     name: peer-to-route-reflectors
   spec:
     peerIP: 10.0.0.1
     asNumber: 64512
   

4. 高可用集群中的网络问题排查

4.1 常见网络问题及解决方案

在二进制部署的高可用Kubernetes集群中，网络问题往往表现为以下几种形式：

1. Service无法访问：

   • 检查kube-proxy日志：journalctl -u kube-proxy -f
   • 验证iptables/ipvs规则：iptables-save | grep <service-name>
   • 确认Endpoint是否存在：kubectl get endpoints <service-name>

2. Pod间网络不通：

   • 检查Calico节点状态：calicoctl node status
   • 验证路由表：ip route
   • 检查网络策略：calicoctl get networkpolicy --all-namespaces

4.2 性能调优建议

对于大规模生产集群，以下调优措施可以显著提升网络性能：

1. kube-proxy调优：

   yaml复制apiVersion: kubeproxy.config.k8s.io/v1alpha1
   kind: KubeProxyConfiguration
   mode: "ipvs"
   ipvs:
     scheduler: "wrr"
     minSyncPeriod: 5s
     syncPeriod: 30s
   

2. Calico调优：

   yaml复制apiVersion: projectcalico.org/v3
   kind: FelixConfiguration
   metadata:
     name: default
   spec:
     bpfEnabled: true
     bpfExternalServiceMode: "DSR"
     bpfKubeProxyIptablesCleanupEnabled: false
   

5. 安全加固与监控

5.1 网络组件的安全配置

在高可用二进制部署中，网络组件的安全不容忽视：

1. kube-proxy的RBAC配置：

   yaml复制apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
     name: system:kube-proxy
   rules:
   - apiGroups: [""]
     resources: ["services", "endpoints"]
     verbs: ["list", "watch"]
   

2. Calico的网络策略：

   yaml复制apiVersion: projectcalico.org/v3
   kind: GlobalNetworkPolicy
   metadata:
     name: deny-all-egress
   spec:
     types:
     - Egress
     egress:
     - action: Deny
   

5.2 监控与告警

有效的监控可以帮助我们提前发现网络问题：

1. kube-proxy监控指标：

   • kubeproxy_sync_proxy_rules_duration_seconds
   • kubeproxy_network_programming_duration_seconds
   • kubeproxy_sync_rules_total

2. Calico监控指标：

   • felix_active_local_endpoints
   • felix_active_policies
   • bgp_peer_up

配置Prometheus抓取规则示例：

yaml复制- job_name: 'kube-proxy'
  metrics_path: /metrics
  scheme: https
  tls_config:
    ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    insecure_skip_verify: true
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names:
      - kube-system
  relabel_configs:
  - source_labels: [__meta_kubernetes_service_name]
    action: keep
    regex: kube-proxy

在实际部署过程中，我发现二进制方式虽然配置复杂，但能让我们更深入地理解Kubernetes网络的工作原理。特别是在排查网络问题时，对底层机制的理解往往能帮助我们快速定位问题根源。建议在测试环境多进行故障注入练习，熟悉各种网络问题的表现和解决方法。