RKE2中CoreDNS配置定制与优化实践

1. RKE2与CoreDNS基础认知

在Kubernetes生态中，DNS服务如同城市道路的指路牌系统，而RKE2作为经CNCF认证的Kubernetes发行版，其内置的CoreDNS组件就是这套系统的核心引擎。与原生Kubernetes部署不同，RKE2采用独特的打包方式——将CoreDNS作为静态Pod运行在kube-system命名空间，并通过rke2-coredns这个定制化组件进行统一管理。这种设计使得默认配置下CoreDNS的ConfigMap（coredns）和Deployment（rke2-coredns）都被赋予了"rke2-"前缀的标签标识。

实际运维中常遇到三类典型场景需要自定义配置：

• 企业内部私有域名解析需求（如解析*.internal.company.com）
• 特定域名的上游DNS服务器指定（如将finance.com指向专用DNS集群）
• 日志格式调整或插件启用（如添加prometheus监控指标）

重要提示：直接修改RKE2生成的CoreDNS配置会导致集群升级时被覆盖，必须通过官方提供的定制入口操作。

2. 配置定制化实践路径

2.1 定位核心配置文件

RKE2通过两层结构管理CoreDNS配置：

1. 用户自定义层：/var/lib/rancher/rke2/server/manifests/rke2-coredns-config.yaml
2. 系统生成层：/var/lib/rancher/rke2/server/manifests/rke2-coredns.yaml

通过以下命令验证当前生效配置：

bash复制kubectl -n kube-system get configmap rke2-coredns -o jsonpath='{.data.Corefile}'

典型输出示例显示三段式配置结构：

code复制.:53 {
    errors
    health {
        lameduck 5s
    }
    ready
    kubernetes cluster.local in-addr.arpa ip6.arpa {
        pods insecure
        fallthrough in-addr.arpa ip6.arpa
    }
    hosts /etc/coredns/NodeHosts {
        ttl 60
        reload 15s
        fallthrough
    }
    prometheus :9153
    forward . /etc/resolv.conf
    cache 30
    loop
    reload
    loadbalance
}

2.2 安全修改方法论

方法一：通过HelmChartConfig定制（推荐）

1. 创建配置文件：

bash复制sudo mkdir -p /var/lib/rancher/rke2/server/manifests/
cat <<EOF | sudo tee /var/lib/rancher/rke2/server/manifests/rke2-coredns-config.yaml
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
  name: rke2-coredns
  namespace: kube-system
spec:
  valuesContent: |-
    config:
      custom: |
        # 在此添加自定义配置块
        example.com:53 {
            errors
            cache 30
            forward . 10.0.100.53
        }
EOF

方法二：ConfigMap热更新

1. 提取当前配置：

bash复制kubectl -n kube-system get configmap rke2-coredns -o yaml > coredns-cm.yaml

2. 编辑后应用变更：

bash复制kubectl apply -f coredns-cm.yaml
kubectl rollout restart -n kube-system deployment/rke2-coredns

操作风险提示：方法二在RKE2升级时可能被重置，仅适合临时调试场景。

3. 高级定制场景剖析

3.1 私有域名解析方案

假设需要将internal.company.com域名的解析指向192.168.1.100的私有DNS服务器，Corefile配置示例如下：

code复制internal.company.com:53 {
    errors
    cache 30
    forward . 192.168.1.100 {
        policy sequential
        health_check 5s
    }
}

关键参数说明：

• policy sequential：按顺序尝试上游服务器
• health_check：健康检查间隔
• max_fails：失败重试次数（默认2次）

3.2 智能分流解析实践

实现根据域名后缀智能选择DNS服务器的配置：

code复制.:53 {
    # 默认配置保持不变...
}

google.com:53 {
    forward . 8.8.8.8 8.8.4.4
}

azure.internal:53 {
    forward . 10.8.0.1
}

3.3 日志与监控增强

启用详细查询日志并暴露Prometheus指标：

code复制.:53 {
    log
    errors
    prometheus :9153
    # 其他原有配置...
}

日志字段解析：

• {type}：查询类型（A/AAAA/MX等）
• {name}：查询域名
• {class}：网络类型（通常IN）
• {size}：响应包大小
• {duration}：处理耗时

4. 疑难排查与效能调优

4.1 常见错误代码解析

4.2 性能调优参数

在forward插件中添加优化参数：

code复制forward . /etc/resolv.conf {
    max_concurrent 1000
    expire 10s
    policy round_robin
}

缓存优化配置示例：

code复制cache {
    success 9984 30
    denial 9984 5
    prefetch 10 1m 10%
}

• success：成功响应缓存（数量+TTL）
• denial：否定响应缓存
• prefetch：预取触发条件（阈值+提前时间+比例）

4.3 配置验证工具链

1. 语法检查工具：

bash复制docker run -i --rm coredns/coredns -conf - -validate

2. 查询模拟测试：

bash复制dig @<pod-ip> example.com +short
kubectl run -it --rm debug --image=busybox -- nslookup google.com

5. 版本升级兼容策略

RKE2版本升级时CoreDNS的配置迁移流程：

1. 升级前备份关键配置：

bash复制rke2 etcd-snapshot save --name pre-upgrade
kubectl -n kube-system get configmap rke2-coredns -o yaml > coredns-backup-$(date +%s).yaml

2. 版本差异对照表：

3. 升级后验证清单：

• 检查CoreDNS Pod状态：kubectl -n kube-system get pods -l app.kubernetes.io/name=rke2-coredns
• 验证配置保留情况：kubectl -n kube-system exec <coredns-pod> -- coredns -conf /etc/coredns/Corefile -validate
• 测试解析功能：kubectl run -it --rm test --image=busybox -- nslookup kubernetes.default

在长期运维实践中发现，通过HelmChartConfig方式管理的配置在跨版本升级时保留率可达100%，而直接修改ConfigMap的方式约有30%概率需要重新应用配置。建议对生产环境配置变更建立版本化管理制度，每次变更前执行rke2 etcd-snapshot save操作。