1. 先聊聊我为什么关注云原生安全
这两年“云原生”早就不是什么新鲜词了,容器和Kubernetes基本成了后端服务的默认底座。但说实话,大部分人聊云原生,张口就是弹性伸缩、微服务治理、DevOps流水线,很少有人主动把“安全”放在前面聊。可一旦线上出过事,或者审计来查一轮,你就会发现——容器化带来的攻击面变化,远比传统虚拟机时代要复杂得多。
我最初接触云原生安全纯粹是被逼的。当时团队把核心业务拆成几十个微服务丢进Kubernetes集群,刚开始一切都很美好:部署快了、扩容方便了、资源利用率也上去了。直到有一次安全团队扫出生产环境好几个容器是以root权限跑的,而且镜像里有不少高危漏洞,还被要求在三天内整改完。那段时间我几乎是在翻文档和踩坑中度过的,也正因为这一轮折腾,我才系统地把容器和集群两个层面的安全问题梳理了一遍。
这篇内容就是想把这段实践经历做一个沉淀。它不是什么安全产品的推销文,也不是教科书式的概念罗列,而是从实际运维和交付视角出发,讲讲云原生应用在容器镜像阶段、运行时阶段、集群编排阶段分别会面临哪些典型风险,以及我们当时是怎么一步步做加固和落地检测的。适合正在做云原生架构改造的研发同学,也适合被安全合规追着跑的运维朋友,哪怕你只是刚开始了解Kubernetes,这篇文章也能帮你建立一条比较清晰的安全实践脉络。
说白了,云原生安全并不神秘,核心就两件事:管好进到集群里的东西(镜像和配置),管好集群里正在跑的东西(容器和权限)。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 镜像安全:很多集群被打穿,问题都出在起点
如果让我给云原生安全排优先级,镜像安全一定排在第一位。为什么?因为镜像就是应用交付的载体,代码、依赖、运行时环境全打包在里面。镜像一旦有问题,哪怕集群层面的安全策略做得再完美,也照样会被从内部击穿。
2.1 不要把“基础镜像”当成一个理所当然的起点
市面上的基础镜像五花八门,很多人图方便,直接docker pull一个latest版本就开始往上写业务代码。这里有一个最典型的坑:基础镜像里的漏洞你根本控制不了。你引用的底层操作系统包、OpenSSL库、甚至glibc,可能已经存在好几个月甚至几年的已知漏洞,只是你不知道而已。
我们在一次镜像梳理中发现,线上居然还有基于两年前版本构建的应用镜像,底层带了一堆中高危安全漏洞。当时做的第一件事就是全组定了一条规矩:所有基础镜像必须固定版本,禁止在Dockerfile里裸写FROM xxx:latest。锁版本这步虽然看起来简单,但能让你避免绝大多数的“非预期更新”,因为latest镜像一旦被上游维护者重新打标签,你下一次构建出来的镜像内容和上一次可能完完全全两样,安全状态也就不可控了。
固定版本之外,还要尽可能选择体积小、攻击面小的基础镜像。比如能用Alpine就尽量不要用Ubuntu,如果应用是Go编译的静态二进制,甚至可以直接用scratch空镜像起。镜像里的东西越少,能被利用的程序就越少,这个道理不需要多解释。
2.2 依赖层面的隐性风险比想象中更严重
镜像安全问题不止存在于基础镜像层,应用层依赖同样藏着重灾区。我们有一次做漏洞扫描,扫出来一个Java服务镜像里有十多个高危漏洞,追查下去发现,其中好几个并不是代码里直接引用的组件,而是某个传递依赖带进来的。就是在你完全没有意识的情况下,你用的库依赖了另一个有漏洞的库。这种“依赖链”攻击在开源生态里非常常见。
解决这个问题不能只靠上线前扫一次,而是要把依赖扫描沉淀到CI流水线里。我们在Jenkins流水线中集成了Trivy,每次构建镜像时自动扫描,一旦发现高危漏洞,构建直接失败,不允许往镜像仓库推。这种方式虽然在一开始会招来开发同学的抱怨,觉得流程变慢了,但坚持一段时间之后,大家的习惯就改变了,提交代码之前也会主动检查依赖版本。总结起来就是一句话:让安全左移,不要让有问题的镜像有机会跑到集群里去。
2.3 镜像签名和仓库保护:确保你拉到的就是你想跑的
镜像扫描只是第一步,还有一个容易忽略的问题是——你怎么证明镜像仓库里的镜像是可信的人推上去的?如果镜像仓库本身被脱库,攻击者往里面塞一个恶意镜像,而你这边拉取的时候没有校验,整个集群就被架空了。
目前行业上比较常见的做法是引入镜像签名机制。Kubernetes生态里有一个比较成熟的项目叫cosign,它用密钥对镜像进行签名存储,部署前可以通过策略校验签名。我们虽然没有把签名机制做到全自动,但至少对生产环境的镜像仓库设置了严格的访问控制和审计日志,密钥管理也纳入了公司统一的KMS体系。这里提醒一句:镜像仓库的账号千万不要共用用户名密码,能用机器人账号就用机器人账号,并且定期轮换密钥。
所以镜像层安全的核心动作可以浓缩成四点:
- 基础镜像锁定版本,选小体积、更新维护及时的基础镜像。
- 依赖扫描与漏洞检测接入CI,高危漏洞卡发布。
- 给镜像做签名或至少做完整性校验。
- 镜像仓库设置最小权限隔离和操作审计。
这四步做完,集群入口的风险就已经降了一大半。
3. 容器运行时安全:别让你的容器变成“带漏洞的内网跳板”
镜像关过了,容器一旦在节点上跑起来,就进入一个新的战场——容器运行时。很多传统运维背景的同事容易在这里犯一个惯性错误:把容器当成一个小虚拟机。但实际上容器和虚拟机在隔离性上有本质差异,如果你没有做安全配置,容器里的进程和宿主机之间的边界其实是相当模糊的。
3.1 用非root用户运行应用是没有商量余地的
容器里用root运行应用这个问题,我在不止一个团队里反复提醒过。要理解为什么危险,你可以这样想:容器内的root虽然没有宿主机root的完整权限,但如果攻击者利用容器逃逸漏洞或者因为错误挂载获得了宿主机的某些路径权限,root身份会让后续提权变得非常顺畅。反过来,如果容器内运行的是一个uid为10001的普通用户,即使容器被攻破,他拿到的也只是一个普通用户权限,攻击成本会高很多。
具体操作层面,首选方式是在Dockerfile里通过USER指令切换运行用户:
dockerfile复制FROM alpine:3.18
RUN addgroup -S app && adduser -S app -G app
COPY --chown=app:app app /app
USER app
ENTRYPOINT ["/app/start.sh"]
同时,在Kubernetes的Pod定义里,最好也加上securityContext,不能只依赖镜像里的USER设置,因为有些基础镜像或者启动脚本可能会在运行时自行切换用户。
yaml复制securityContext:
runAsNonRoot: true
runAsUser: 10001
allowPrivilegeEscalation: false
这里还有一个非常容易被忽略的细节:allowPrivilegeEscalation: false。这个字段控制进程能否通过setuid等机制获得比当前用户更高的权限,如果业务本身不需要提权,一定要显式设置为false。加上readOnlyRootFilesystem之后,即使容器被写入恶意文件,也无法持久化到容器层,这种防御纵深的价值在面对真实攻击时是非常明显的。
3.2 capabilities裁剪:最小权限原则的容器化表达
Linux capabilities机制是容器运行时安全里最实用、也最容易被忽视的一个点。传统UNIX的权限模型是非黑即白的:要么是普通用户,要么就是全能的root。但现代Linux内核把root的权限拆成了几十种小块,每个小块叫一个capability。Docker在启动容器的时候,默认会给容器赋予一部分capabilities,但这里面有不少其实容器根本用不到。
举一个真实的例子。我们曾经排查一个容器内进程异常退出的事件,后来发现进程尝试去执行一个需要CAP_SYS_ADMIN权限的系统调用,而这个capability在容器里默认是被禁止的。反过来思考,如果一个业务容器真的被分配了CAP_SYS_ADMIN,它就能执行mount等特权操作,一旦容器里的应用被拿下,攻击者就可以很轻松地进行挂载操作,向宿主机方向移动。
所以在Kubernetes中,我建议你把securityContext里的capabilities字段利用起来:
yaml复制securityContext:
capabilities:
drop:
- ALL
add:
- NET_BIND_SERVICE
这种“先全部丢弃,再按需添加”的方式,比默认的“给一堆然后再删几个”要安全得多。像NET_BIND_SERVICE这种让进程绑定1024以下端口的capability,如果你的应用不需要监听特殊端口,连加都不用加。
3.3 seccomp与AppArmor:更深一层的内核防护
如果你对安全的要求更严格,或者过等保、过审计的时候有明确要求,那就要关注seccomp(安全计算模式)和AppArmor了。这两个东西的作用简单概括就是:限制容器里的进程能调用的系统调用。比如一个Web应用根本不应该去调用mount、reboot这类系统调用,那么通过seccomp配置直接阻止这些调用,即使应用本身被注入恶意代码,对方也很难在容器里干出什么高权限的事。
Kubernetes从比较早的版本开始就支持通过Pod注解来配置seccomp:
yaml复制apiVersion: v1
kind: Pod
metadata:
annotations:
seccomp.security.alpha.kubernetes.io/pod: runtime/default
spec:
containers:
- name: app
image: nginx:1.24
使用runtime/default这个默认配置,会对大多数常见应用影响很小,同时又能屏蔽掉一批危险系统调用。我们当时先在测试环境把所有Pod都加上了这个annotation,灰度跑了两周没有发现异常,然后才批量应用到生产环境。
AppArmor的配置比seccomp稍复杂一些,需要在节点上预先加载profile,所以推广难度更高。如果你们的集群规模不大、团队对节点控制力强,可以考虑;如果是大型集群或托管的Kubernetes服务,建议先把seccomp和Pod Security Standards做好就足够了。
3.4 网络维度:容器内东西向流量也要安全隔离
前面说的都是单容器维度的防御,如果把视角放大到整个计算节点,还要考虑容器与容器之间、容器与外部之间的网络访问关系。默认情况下,同一个节点上的容器是可以互通网络的,这在大部分业务场景里并不是你想要的结果。
Kubernetes的NetworkPolicy就是解决这个问题的。不过这里有一个很多人会踩的坑:NetworkPolicy需要CNI插件支持,不是所有集群装上就能用。如果你用的是Flannel这种不支持NetworkPolicy的插件,写了NetworkPolicy也不会生效,它只是静静地躺在etcd里等一个支持它的插件出现。我们最早的集群就吃过这个亏,以为网络策略已经生效,后来测试发现完全没拦截。
如果你们用的是Calico或者Cilium这类CNI,那就完全可以基于NetworkPolicy来定义微服务之间的访问关系了。比如一个订单服务只能被API网关访问,只能访问用户服务和数据库,那就分别定义Ingress和Egress规则。这套东西配好之后,即使某个容器被攻破,攻击者能横向移动的范围也被压缩到最小。
4. 集群安全:Kubernetes不只是编排工具,更是一个庞大的权限系统
单个容器再安全,如果层面的管控出现漏洞,等于给攻击者递了一张“全场通行证”。Kubernetes本身设计得再精巧,它也不是默认安全的。如何配置认证授权、如何隔离资源、如何控制工作负载的权限边界,这几点对于Kubernetes集群的安全至关重要。
4.1 别再用“超级管理员”走天下了,RBAC最小授权要落地
Kubernetes的RBAC机制很多人了解,但落实到位的不多。最典型的问题是两个:一是给开发同学发了cluster-admin权限,理由是一开始图省事;二是给某个应用的ServiceAccount授予了过大的权限,以为反正都在同一个集群里没什么问题。
先说前者。开发同学如果拿着cluster-admin权限,他理论上可以读取整个集群的所有Secret,包括数据库密码、云厂商密钥。一旦他的个人电脑被攻破或者账号被钓鱼,等于整个集群沦陷。我当时推动整改的时候,花了不少精力梳理权限矩阵,把所有账号改成namespace级别的角色绑定。给开发环境、预发环境、生产环境分别拉独立namespace,每个环境的权限严格隔离。
如果你的集群规模不大,可以参考下面这个最小化思路:先建一个只读角色,再按需添加权限。比如给普通开发者只授予查看Pod和日志的权限:
yaml复制apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
namespace: dev
name: pod-reader
rules:
- apiGroups: [""]
resources: ["pods", "pods/log"]
verbs: ["get", "list", "watch"]
注意这只是Role,不是ClusterRole。如果你不清楚Role和ClusterRole的区别,只要记住一句话:Role只作用于某个namespace,ClusterRole作用于整个集群。默认情况下,能用Role就别用ClusterRole,这是最小权限原则的体现。
4.2 不能让所有Pod都共享同一个ServiceAccount
ServiceAccount是Pod访问Kubernetes API时使用的身份凭证。很多应用框架会自动读取容器内/var/run/secrets/kubernetes.io/serviceaccount目录下的token文件来调用Kubernetes API,但你的应用真的需要这些权限吗?
很多情况下,业务Pod压根不需要访问Kubernetes API。此时除了Pod启动参数里可以设置automountServiceAccountToken: false,更优雅的做法是关闭默认自动挂载行为。可以为每个命名空间设置一个默认的ServiceAccount,并且在Pod模板上显式声明不自动挂载Token:
yaml复制apiVersion: v1
kind: ServiceAccount
metadata:
name: app-sa
automountServiceAccountToken: false
如果某些应用确实需要调用Kubernetes API,比如开发一个自定义Controller或者Operator,那就要按RBAC最小权限为它单独创建ServiceAccount和对应的RoleBinding,绝对不要把它绑到cluster-admin上。这个原则我们是吃过亏才真正执行的。当时一个监控组件为了读取集群状态,被赋予了很高的权限,后来这个组件所在Pod被入侵之后,攻击者直接利用ServiceAccount的权限创建了一个特权Pod。
还有一点需要提醒,各个命名空间默认的ServiceAccount(叫做default)在Kubernetes很多版本里绑定的权限都非常有限,但如果你在某个namespace里给default绑定了一个很大的Role,那就等于这个命名空间里所有没有显式指定ServiceAccount的Pod都拿到了这份权限,这是非常危险的高危配置。
4.3 Pod Security Standards:用一道管理关卡卡住高危工作负载
Kubernetes的Pod安全策略(PSP)从1.25版本开始被移除,替代方案是Pod Security Standards和Pod Security Admission。这套机制其实比PSP更简洁,它定义了三种策略等级:
- privileged:不受限制,不推荐。
- baseline:禁止已知的特权提升,适用于大多数Pod。
- restricted:遵循Pod安全最佳实践,最严格。
我们在生产环境经过评估,决定对业务namespace开启baseline,对敏感namespace直接上restricted。配置方式很简单,给namespace打上标签:
bash复制kubectl label namespace prod pod-security.kubernetes.io/enforce=baseline
kubectl label namespace prod pod-security.kubernetes.io/warn=restricted
这里用了enforce和warn两套配置,enforce表示强制拦截不合规的Pod创建,warn只是给告警提示,不影响运行。建议你在切换enforce之前,先用audit模式观察一下哪些现有工作负载会触发告警,评估清楚了再强制拦。这个过程就像给一个运转中的系统加门禁,如果不先摸底就一刀切,极大概率会误伤业务。
4.4 不要低估审计日志和Secret管理的价值
安全事故发生之后的溯源能力和实时发现能力,靠的就是审计日志。Kubernetes API Server的审计日志记录了所有对集群的请求,包括谁在什么时间、用什么身份、对哪个资源做了什么操作。这个日志默认情况下可能没有开启或者只开启了一部分。我们当时把审计日志接入到了内部日志平台,定期做异常行为告警,比如短时间内大量列出Secret、创建特权Pod、修改NetworkPolicy等行为,都会触发高优告警。
日志策略可以通过修改API Server的启动参数里的audit-policy-file实现。对于使用kubeadm部署的集群,需要预先创建审计策略文件,官方文档里有现成的示例,复制过来按需裁剪即可。
再来说Secret。Kubernetes的Secret对象仅仅做了Base64编码,它不加密。放在etcd里如果etcd本身没加密,或者有人能直接读etcd的备份文件,Secret内容就等于明文。这个问题在自建集群里尤为突出。所以处理敏感信息时我们可以考虑多种方案:使用外部密钥管理服务(如云服务商KMS或开源Vault),通过Secret Store CSI Driver将密钥以卷形式挂载到Pod里,避免落盘在etcd中。即使没有条件上外部组件,至少也要为etcd开启加密:
yaml复制apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
- resources:
- secrets
providers:
- aescbc:
keys:
- name: key1
secret: <base64编码后的32字节密钥>
- identity: {}
因为Secret加密涉及kube-apiserver重启,所以不能贸然在生产环境操作。建议先在测试集群完整演练一遍,确认kubelet读取Secret、Pod正常创建都不受影响,再灰度推广到生产。
4.5 给高负载组件一个冷静的“应急出口”:配置资源限制
我很多朋友在设计安全策略时容易忽略的一个点:资源限制其实也和稳定性、安全性有关。容器内某个进程发生内存泄漏,导致宿主机内存被持续耗尽,这种情况在传统环境里往往是靠运维人肉发现再手动处理的,但在Kubernetes中如果给容器配置了resources字段,写明了limits内存上限,当容器内存超过阈值时,Kubernetes会将其OOM Killer并自动重启,不会拖垮同一个节点上的其他Pod。
这个逻辑其实将安全延伸到了“可用性”维度,且和HPA等自动伸缩机制紧密相关。当一个服务配置了HPA,HPA会根据例如CPU使用率指标进行扩缩容,但如果你没有给容器设置requests,HPA的评判依据就不准,限流、扩容、调度都会变成拍脑袋。所以从安全角度讲,给每个工作负载都定义清晰的requests和limits,反而是确保系统稳定不被拖垮的最直接手段。
不过要注意limits设置要合理,不要过度收紧。我们之前的经验是,如果你不确定一个服务内存能压到多少,在测试环境用压测工具逐步加大流量,观察内存曲线,再根据P99和峰值值留20%-30%余量设为limits。设置过低会导致容器频繁被OOM Kill,引发“健康检查失败-重启-再失败”的恶性循环,这个坑我见的次数太多了。
5. 信任边界与攻击链:我从“假设被打穿”的角度重新审集群
这部分内容在常规的安全教程里不太会被专门提出来,但恰恰是我在这些年实践中体会最深的一点。安全建设不怕你做了多少加固,怕的是你的信任模型一开始就错了。
5.1 集群内部默认不信任,远比默认信任更安心
Kubernetes一开始的设计是基于“内部网络默认可信”这个假设的,同集群内的Pod天然可以互相通信,这对部署友好,但对安全来说是很大的缺口。真实场景下,攻击者一旦通过某个漏洞进入容器内部,他会立刻开始侦察:查看环境变量、读取所在Pod的ServiceAccount、尝试访问集群网络内的其他地址、扫描同网段的数据库端口。如果集群网络策略是全局放行的,那这场攻击就变得极为顺利。
我们的做法是把“零信任”思路渗透到集群内部。哪怕是微服务A调用微服务B这种常见的内部接口调用,也建议逐步用NetworkPolicy把通信路径收敛到可预期的最小范围。起初这个过程会比较痛苦,因为服务之间的依赖关系不一定准确掌握,查起来也很难。但如果按照逐步推进、从开发环境开始做起的方式,配合服务间的调用链路追踪数据来梳理依赖,最终形成的策略就能做到准确无副作用。
这里有一个比较实用的工具叫kube-trace或者network-policy-logger,配合Cilium的监控能力,可以观察和记录实际被拦截的流量,帮助判断策略是否正确。如果你全面加固前担心误伤,用这种“观察模式”策略先在集群里跑,观察几次后再正常下发。这样既不会阻挡合法流量,又能逐步逼近最终的安全状态。
5.2 典型集群攻击路径启示:从“容器逃逸”到“集群接管”的推演
为了便于理解,这里做一个最典型的攻防推演(内容仅涉及技术原理层面,不指向任何真实事件或实体)。假设攻击者正在尝试攻击你的云原生环境:
第一步,攻击者会扫描你暴露在公网上的业务应用端口,比如通过Web应用漏洞或供应链投毒,在容器里拿到了代码执行权限。如果此时容器以root运行、没有删除dangerous capabilities、没有配置只读文件系统,那他就可以在容器里直接挂载宿主机的敏感路径,实现容器逃逸,获得宿主机上的一个shell。第二步,如果节点上的kubelet配置了宽松的认证策略,攻击者可以利用节点凭据访问Kubernetes API Server。第三步,如果他从某个容器的ServiceAccount中拿到集群权限过大,甚至有条件直接创建新的高权限工作负载,整个集群就真的被“接管”了。
我们回过头来看,这条链路如果能被阻断,其实是安全加固的最好证明。哪怕是最开始第一个环节的攻击成功,如果它遇到的是一个非root容器,没有dangerous capabilities,镜像扫描时也会定期清理已知漏洞,攻击者就很难走出第二步。
5.3 运行时检测:别在被突破之后才翻日志
如果攻击者已经成功突破了前几层防御,我们有没有最后的兜底手段?有,那就是运行时检测。传统的安全手段往往偏重边界防御和漏洞扫描,但对“已经在内部活动”的检测能力偏弱。
Falco是目前比较成熟的容器运行时安全工具,它通过内核模块或eBPF技术监控系统调用,然后和规则库进行匹配。比如正常情况下你的容器不会去读/etc/shadow、不会在/tmp目录下执行新文件、不会尝试连接未知的外部IP。Falco一旦发现这类行为,就会输出告警事件,可以对接Alertmanager或者直接进日志平台。
我们接入Falco之后,第一次真实触发的告警是某个业务的调试镜像被推到生产环境,开发同学觉得临时用一下也没事,结果容器内执行了一个shell命令,被Falco记录下来了。后来我们在流程上加强了对调试镜像的管控,这类事件就很少发生了。运行时检测的意义不只是发现攻击,还能发现团队内部不符合规范的行为,属于一举两得。
5.4 监控体系不能只盯着基础设施指标,安全指标也要进看板
很多团队的监控看板上全是CPU、内存、QPS、延迟这些指标,安全相关的可观测性基本为零。但从安全运营角度看,Kubernetes集群至少要观测这四类安全指标:
- 异常进程启动数量(比如容器内出现了从未见过的可执行文件)。
- 异常的Kubernetes API请求(比如某个ServiceAccount大量读取Secret)。
- 高危Workload的分布与变更(比如特权容器、hostNetwork容器、hostPath挂载容器)。
- 镜像漏洞存量趋势(带高危漏洞的镜像是否在持续增加)。
Prometheus加上kube-state-metrics可以提供不少基础数据,配合自定义的exporter把Falco事件、API审计日志中的敏感操作聚合为指标,最终呈现在Grafana上。这套指标体系的建设不难,但需要一定的数据分析和开发能力。
我们就曾经通过一个看板上的图表发现某个namespace的secret读取次数异常增长,追查下去发现是某个应用因为配置错误每次请求都去读Secret,不但消耗了API Server性能,还留下了一个很大的审计日志量。这个案例说明,安全监控的价值不只限于发现恶意攻击,它也能帮助发现应用层的问题。
6. 企业落地时最容易踩的坑与应对建议
安全实践在不同规模团队推进时,遇到的卡点往往不在技术本身,而在组织协作和流程机制上。我整理了一些共性问题,希望能让读者少走些弯路。
6.1 “安全让部署变慢了”的推进阻力,怎么破?
安全左移最常听到的反馈就是“你又要加扫描又要加签名,我们发版时间又长了”。这一矛盾在容器化落地过程中几乎必然出现。但我们当时的处理方法是先量化风险,再定义“最小安全基线”。不是所有应用都要求最高等级的安全,内部工具类和纯试验性服务可以先满足基础线,核心交易服务、涉敏数据处理服务则必须过完整的安全流水线。把安全策略分等级后,开发团队对“慢”的抱怨明显减少,因为大部分被拦住的场景都是他们自己都不确定有没有问题的改动。
6.2 多集群治理时,安全策略如何保持一致性?
单一集群做安全策略相对简单,但当你的集群数量变多,比如开发、预发、生产、灾备都有独立集群,而且这些集群还在不同云账号甚至混合云环境时,靠人工在每套集群里敲kubectl apply是行不通的。我们尝试过一遍,发现不同集群很快会漂移出完全不同的配置。
后来方案调整为GitOps模式,用Git仓库统一管理所有集群的RBAC、NetworkPolicy、Namespace标签等资源,再通过ArgoCD或Flux自动同步到对应集群。这种方式的好处是每一次变更都有记录可追溯,集群间的配置被强制收敛,出了问题也能通过回滚提交快速恢复。这一点我们也在逐步向安全场景复制。
6.3 工具选型:开源为主,商业方案为辅
市面上的容器安全工具大致分成开源免费类和商业平台类。开源里比较有代表性的除了我们前面提到的Trivy、Falco、cosign,还有Open Policy Agent(OPA)/Gatekeeper(用于策略即代码)、Kyverno等。商业平台的安全能力更全面,比如镜像扫描和运行时防护一体化,还有一些CSPM和CWPP能力强的商业产品。
对于成长型团队,配置和评估的复杂度从依赖关系来看,我们建议从开源工具入手,先把基础能力闭环跑起来,再考虑是否引入商业方案。因为商业方案往往需要对接企业内部的权限系统、容器平台、告警通道,这些集成成本本身就不低,如果基础流程还没理顺,直接整套上反而会让团队学得很痛苦。而且开源工具在社区活跃度和演进速度上通常不输商业产品,业务场景足够典型,能找到完善的资料和社区支持。
6.4 安全不是一次性项目:把它变成可度量的日常流程
最后一点体会很深刻:安全不是“设完这些规则就完事”的一次性项目,而是需要持续运营的流程。容器会变、集群会变、业务代码会变、依赖关系也会变,今天安全的配置,可能过半年就因为组件升级产生新的风险敞口。
一个比较可行的落地方案是定义“安全巡检清单”,按固定周期自动化执行:
- 每天:扫描新增镜像,检查跑在集群里的高危Pod。
- 每周:对比集群的NetworkPolicy变化,检查RBAC授权变动。
- 每月:审阅一次Secret的使用情况,轮换关键密钥。
- 每季度:做一次全集群的安全健康评分,并输出整改任务。
把这些巡检步骤尽可能自动化,甚至用定时流水线触发,就能很大程度避免“安全靠人工巡检靠运气”的困境。安全建设真正的目标不是让系统变成堡垒,而是让系统在可控成本内具备快速发现和恢复的能力。
7. 最后分享几个我反复使用的排查思路
回到具体工作场景里,如果集群已经出了问题,怎么快速定位和止血,这比掌握多少安全概念都重要。我记录几个高频问题的排查方向,希望能帮你在应急时省点时间。
7.1 Pod创建被拒绝,提示违反Pod Security
这种情况通常是你在集群里开启了Pod Security Admission的enforce级别,而某个工作负载的安全配置不符合要求。第一种方法是先通过audit或warn模式查看具体的告警信息,了解哪个字段不符合策略。比如restricted策略要求runAsNonRoot: true,如果Pod里没有设置,就会被拒绝创建。
排查时可以检查events事件:
bash复制kubectl describe pod <pod-name> -n <namespace>
事件里如果出现“violates PodSecurity”,从事件信息中通常会明确提示违反了哪些要求。定位后再修改工作负载的securityContext。这里要特别提醒一点:如果工作负载由Deployment控制,直接修改Pod template后需要用kubectl rollout restart让Deployment重新创建Pod。
7.2 服务之间突然不通了,疑似NetworkPolicy误拦
因为NetworkPolicy是按Pod维度匹配的,一处没写对就可能导致服务中断。排查思路是先确认CNI插件支不支持NetworkPolicy,如果支持,再检查策略是否匹配到目标Pod的标签。
bash复制kubectl get networkpolicy -A
kubectl describe networkpolicy <policy-name> -n <namespace>
大多数情况下,Pod不通是因为策略里podSelector或者namespaceSelector的标签写得不对。另外networkpolicy是“默认拒绝”的模型,如果某个Pod匹配到一条策略,只有在策略中明确允许的流量才会放行,这个逻辑要特别搞清楚。临时止血可以先把有问题的policy删掉,等业务恢复后再推敲策略。
7.3 API Server响应慢,可能有人在暴力拉取Secret
集群突然变卡,不一定是资源问题,也可能是API Server收到了大量异常请求。先查看审计日志,关注同一个用户或ServiceAccount是否在短时间内产生了大量Secret的list/get操作:
bash复制kubectl logs -n kube-system kube-apiserver-<node-name> --tail=200 | grep Secret
如果发现某应用的token被滥用,立即吊销该ServiceAccount的权限,并检查该应用所在Node上是否出现了未知的高权限Pod。
还有个容易被忽视的底层因素:etcd的性能。大量请求会打到etcd,集群频繁读写如果日志没有太大异常,也要看etcd本身的磁盘延迟和容量。这里的排查思路是先从应用层查起,再判断是不是底层存储受限,而非反过来。
7.4 审计日志中发现未知的exec操作
容器内突然出现了shell执行记录,不论操作者是谁,都要先按安全事件来对待。可以这样做:
bash复制kubectl exec -it <pod-name> -n <namespace> -- ps aux
看这个Pod的进程里有没有可疑进程,检查一下环境变量里是否有恶意注入的配置,确认镜像的hash是否和镜像仓库中记录的一致。如果情况紧急,建议先把Pod副本数缩到0,保留现场,从平台侧拉取这个容器的日志和文件快照用于溯源。这种方式虽然“简单粗暴”,但比让可疑容器继续跑着查要有用得多。
7.5 新版本组件升级后集群变得不稳,回滚还是继续排查?
云原生技术演进很快,Kubernetes或CNI插件隔几个月就会出新版本。升级前如果没有在测试集群做足验证,直接在生产环境升级很容易出问题。比如新版本如果默认改成更严格的安全配置,可能会引起Pod启动失败。一旦出现升级后集群状态不稳定的情况,如果评估影响面大又一时定位不了根因,果断回滚才是对生产环境最负责任的做法。切忌在已经出问题的生产集群里反复调试,“能回滚的升级才是好升级”这句话在安全场景里尤其适用。
回滚的时候需要注意:先把相关控制器的镜像版本或集群版本通过GitOps发布或kubectl回滚命令恢复到上一个稳定版本,再清理升级期间创建的资源对象。升级引发的很多问题,在升级完成后48小时内都可能暴露出来,所以升级后的观察期和回滚预案是必须提前准备的。
写在最后的一点经验
从容器到集群,从镜像到运行时,云原生安全实践其实是一个多层次、动态变化的过程。我接触过很多团队,一开始都寄希望于安装某个安全工具就能“一键安全”,但现实是没有这样的银弹。相对有效的路径,是先把镜像漏洞、最小权限、策略准入这些基础防护做好,再引入运行时检测和审计能力,最后用指标和流程把安全变成可持续运营的机制。
我个人特别推崇的一个习惯是:每次安全事件或被审计发现问题之后,不仅修掉当前问题,还要回头更新自动化检测规则。比如某次发现线上出现了特权容器,不光要让运维删掉它,还要在策略里面加一条默认拒绝privileged的规则,从根上防止类似情况再次发生。
如果你们的云原生改造也正在路上,希望这篇内容能帮你建立起一条属于自己的安全落地路径。刚开始做的时候可能会觉得繁琐,但整套机制跑顺之后,安全就不再是“合规检查时才会想起来”的负担,而是集群交付体系里自然而然的一部分。安全这条路没有终点,但每做一步,都是在给系统增加一层底气。
