使用Terraform自动化部署生产级Kubernetes集群

1. 项目概述

在云计算和容器化技术成为主流的今天，Kubernetes作为容器编排的事实标准，其部署和管理效率直接影响着企业的运维成本和业务敏捷性。传统的手动部署方式不仅耗时费力，而且难以保证环境的一致性，特别是在需要频繁创建和销毁集群的开发测试场景中。

这正是Terraform的价值所在——通过基础设施即代码(IaC)的方式，我们可以用声明式的配置文件定义整个Kubernetes集群的架构和配置，然后通过简单的命令一键部署生产就绪的集群。这种方式不仅提高了效率，还确保了环境的一致性，使得"牛栏环境"问题成为历史。

2. 核心组件解析

2.1 Terraform的核心优势

Terraform作为HashiCorp推出的基础设施编排工具，其核心价值在于：

• 声明式语法：使用HCL(HashiCorp Configuration Language)描述基础设施状态，比传统脚本更易读和维护
• 多云支持：通过Provider机制支持几乎所有主流云平台，避免被单一厂商锁定
• 状态管理：通过tfstate文件记录资源状态，支持团队协作和版本控制
• 变更计划：执行前可预览变更内容，避免意外操作

2.2 Kubernetes生产级考量

生产级Kubernetes集群需要考虑的关键因素包括：

• 高可用架构：多Master节点、etcd集群分离部署
• 网络插件选择：Calico、Flannel等CNI插件的性能和安全特性比较
• 存储方案：动态存储供给与CSI驱动集成
• 安全基线：RBAC、网络策略、Pod安全策略的合理配置
• 监控日志：内置Metrics Server与日志收集方案

3. 环境准备与配置

3.1 云平台账号配置

以AWS为例，需要准备：

1. 创建具有足够权限的IAM用户
2. 配置Access Key和Secret Key
3. 设置默认区域和可用区

bash复制# 配置AWS CLI凭证
aws configure

3.2 Terraform安装与初始化

bash复制# Linux/macOS安装示例
wget https://releases.hashicorp.com/terraform/1.2.5/terraform_1.2.5_linux_amd64.zip
unzip terraform_1.2.5_linux_amd64.zip
sudo mv terraform /usr/local/bin/

验证安装：

bash复制terraform version

4. 集群架构设计

4.1 网络拓扑规划

生产级Kubernetes的网络架构应考虑：

• VPC划分与子网设计（公有/私有子网）
• NAT网关配置
• 安全组规则
• 节点网络与Pod/Service CIDR规划

示例网络配置：

hcl复制resource "aws_vpc" "k8s" {
  cidr_block = "10.0.0.0/16"
  
  tags = {
    Name = "k8s-prod-vpc"
  }
}

resource "aws_subnet" "public" {
  count = 3
  
  vpc_id     = aws_vpc.k8s.id
  cidr_block = "10.0.${count.index}.0/24"
  availability_zone = "us-west-2${element(["a", "b", "c"], count.index)}"
  
  tags = {
    Name = "k8s-public-${count.index}"
  }
}

4.2 节点组设计

典型的生产集群应包含：

• 控制平面节点组（3或5个节点）
• 工作节点组（按需扩展）
• 专用节点组（如GPU节点、内存优化节点）

hcl复制resource "aws_eks_node_group" "workers" {
  cluster_name    = aws_eks_cluster.demo.name
  node_group_name = "worker-group"
  node_role_arn   = aws_iam_role.node.arn
  subnet_ids      = aws_subnet.public[*].id
  
  scaling_config {
    desired_size = 3
    max_size     = 10
    min_size     = 3
  }
  
  instance_types = ["t3.large"]
}

5. 安全配置详解

5.1 IAM角色与策略

最小权限原则下的IAM配置：

hcl复制resource "aws_iam_role" "cluster" {
  name = "eks-cluster-role"

  assume_role_policy = jsonencode({
    Version = "2012-10-17"
    Statement = [
      {
        Effect = "Allow"
        Principal = {
          Service = "eks.amazonaws.com"
        }
        Action = "sts:AssumeRole"
      }
    ]
  })
}

resource "aws_iam_role_policy_attachment" "cluster_AmazonEKSClusterPolicy" {
  policy_arn = "arn:aws:iam::aws:policy/AmazonEKSClusterPolicy"
  role       = aws_iam_role.cluster.name
}

5.2 Kubernetes RBAC配置

通过Terraform配置Kubernetes RBAC：

hcl复制resource "kubernetes_cluster_role" "monitoring" {
  metadata {
    name = "monitoring"
  }

  rule {
    api_groups = [""]
    resources  = ["pods", "services", "endpoints"]
    verbs      = ["get", "list", "watch"]
  }
}

6. 完整部署流程

6.1 初始化Terraform工作区

bash复制terraform init

6.2 预览基础设施变更

bash复制terraform plan -out=tfplan

6.3 应用配置

bash复制terraform apply tfplan

6.4 配置kubectl

bash复制aws eks --region $(terraform output -raw region) update-kubeconfig \
    --name $(terraform output -raw cluster_name)

7. 生产级优化实践

7.1 自动扩缩容配置

配置Cluster Autoscaler：

hcl复制resource "kubernetes_deployment" "cluster_autoscaler" {
  metadata {
    name = "cluster-autoscaler"
    namespace = "kube-system"
  }

  spec {
    replicas = 1

    selector {
      match_labels = {
        app = "cluster-autoscaler"
      }
    }

    template {
      metadata {
        labels = {
          app = "cluster-autoscaler"
        }
      }

      spec {
        container {
          name  = "cluster-autoscaler"
          image = "k8s.gcr.io/autoscaling/cluster-autoscaler:v1.22.0"
          
          command = [
            "./cluster-autoscaler",
            "--v=4",
            "--stderrthreshold=info",
            "--cloud-provider=aws",
            "--node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/$(terraform output -raw cluster_name)",
            "--balance-similar-node-groups",
            "--skip-nodes-with-system-pods=false"
          ]
        }
      }
    }
  }
}

7.2 监控与日志集成

配置Prometheus和Grafana：

hcl复制resource "helm_release" "prometheus" {
  name       = "prometheus"
  repository = "https://prometheus-community.github.io/helm-charts"
  chart      = "kube-prometheus-stack"
  namespace  = "monitoring"
  create_namespace = true

  set {
    name  = "prometheus.prometheusSpec.serviceMonitorSelectorNilUsesHelmValues"
    value = "false"
  }
}

8. 维护与升级策略

8.1 集群升级流程

1. 先升级控制平面
2. 逐个节点组升级工作节点
3. 验证核心功能

bash复制# 查看可用版本
aws eks describe-update --region us-west-2 --name my-cluster

# 启动升级
aws eks update-cluster-version --region us-west-2 --name my-cluster --kubernetes-version 1.22

8.2 日常维护操作

• 定期备份etcd数据
• 监控证书过期情况
• 节点滚动更新策略

9. 成本优化技巧

9.1 资源调度优化

• 使用节点亲和性和Pod反亲和性
• 配置资源请求和限制
• 利用Spot实例降低成本

hcl复制resource "aws_eks_node_group" "spot" {
  # ...其他配置...

  instance_types = ["m5.large", "m5a.large", "m5d.large"] # 多种实例类型提高Spot成功率
  
  capacity_type = "SPOT"
}

9.2 自动启停策略

通过Lambda函数实现非工作时间自动缩容：

hcl复制resource "aws_cloudwatch_event_rule" "stop_instances" {
  name                = "stop_instances"
  description         = "Stop instances at night"
  schedule_expression = "cron(0 20 ? * MON-FRI *)" # 工作日晚上8点
}

resource "aws_lambda_function" "scale_down" {
  filename      = "scale_down.zip"
  function_name = "scale_down"
  role          = aws_iam_role.lambda.arn
  handler       = "index.handler"
  runtime       = "python3.8"
  
  environment {
    variables = {
      CLUSTER_NAME = aws_eks_cluster.demo.name
      NODE_GROUP   = aws_eks_node_group.workers.node_group_name
      DESIRED_SIZE = 0
    }
  }
}

10. 故障排查指南

10.1 常见问题速查表

10.2 关键日志位置

• 控制平面日志：Amazon EKS控制台 → 集群 → 日志
• 节点日志：/var/log/messages, /var/log/cloud-init.log
• Pod日志：kubectl logs

11. 最佳实践总结

在实际生产环境中部署和维护Kubernetes集群时，有几个关键经验值得分享：

1. 版本控制一切：不仅Terraform代码要纳入版本控制，Kubernetes的Manifest也应使用GitOps工作流管理。我们团队使用Argo CD实现了配置的自动同步和回滚能力。

2. 模块化设计：将Terraform代码按功能拆分为多个模块（网络、集群、节点组等），便于复用和维护。例如，我们为不同的环境（dev/staging/prod）创建了不同的变量文件，但复用相同的模块代码。

3. 渐进式部署：首次部署时，建议分阶段应用：先创建网络基础设施，验证无误后再部署集群，最后添加节点组。这可以通过Terraform的目标部署实现：

   bash复制terraform apply -target=module.network
   terraform apply -target=module.eks
   

4. 监控先行：在部署业务负载前，先确保监控系统就位。我们通常在集群创建后立即部署Prometheus Operator，这样可以在后续部署中实时观察资源使用情况。

5. 定期销毁重建：为验证部署流程的可靠性，我们每月会销毁并重建一次开发环境。这不仅能发现潜在问题，还能避免"配置漂移"。Terraform的状态管理使这一过程变得可控。