先说个我自己线上踩过的场景:集群里3台TaskManager,每台4个Slot,总容量12。我先后提了两个实时作业,一个并行度10,一个并行度2。按道理12个Slot装12个并行子任务是刚好够的,结果作业跑起来之后,一台TaskManager上堆了8个子任务,CPU被打到95%以上,GC频繁告警;另外两台一台只跑了2个子任务,一台跑了2个,网络和CPU都在那闲着。我盯了一眼Web UI上的TaskManager列表,第一反应是“调度器是不是串行了”。后来检查发现,问题不是串行,而是并行度不一致时,默认的Slot分配逻辑天然就会往“先到先得、尽量聚堆”的方向走。这篇文章就聊清楚这件事:Flink里面Balanced Tasks Scheduling到底在解决什么问题,并行度不一致时怎么让TaskManager被压得更均匀,以及我实际验证过的配置、代码和排查手段。
1. 场景复盘:并行度不一致,为什么TaskManager会“旱的旱死、涝的涝死”
1.1 一个典型的集群分配现场
先还原当时的分配过程。我提交的第一个作业并行度是10,提交的时候3台TaskManager全部空闲。Flink默认的Slot分配策略是SLOT_CONSTELLATION,也就是“星座模式”,它会把同一个作业需要的Slot尽量塞到尽量少的TaskManager上,目的是减少跨TaskManager的数据交换,提升本地性。所以并行度10的作业提上去之后,前4个Slot落在TM1,再4个落在TM2,最后2个落在TM3。这时候分布是TM1=4、TM2=4、TM3=2,还算能接受。
问题出在第二个并行度2的作业上。如果调度器知道TM3目前只占了2个Slot,它应该优先把新作业的2个Slot放到TM3,这样最终分布会变成TM1=4、TM2=4、TM3=4,非常理想。但实际并不是这样。默认的SLOT_CONSTELLATION策略在处理第二个作业时,会倾向于在这个作业自己的“已分配Slot集合”里找连续性,也就是说,它优先考虑把第二个作业的2个Slot放在同一个TaskManager上,以便这个作业内部的算子尽量本地化。于是它先看TM1,发现有空位,就把2个Slot都压给了TM1。最终结果就是TM1上跑了8个子任务,TM2和TM3各2个。
这个现象在并行度不整除Slot总数时特别容易触发。比如3台机器每台4 Slot,一个并行度10的作业加一个并行度2的作业,组合出来就是“8、2、2”;再比如5台机器每台3 Slot,并行度8加并行度4,分配结果往往是一台机器塞5个Slot,另外几台只有2个或3个。你可以理解为:调度器倾向于让“新来的”扎堆,而不是让“已有的”填平。
1.2 不均衡分配带来的四个连锁问题
第一是CPU倾斜。Flink的TaskManager在同一个JVM里跑多个Task,如果某个TaskManager上分配的并行子任务特别多,它的CPU和内存压力会明显高于其他节点。实时计算场景下,CPU超过85%之后,GC停顿时间开始不可控,处理延迟跟着抖动。
第二是网络和I/O倾斜。某些并行子任务如果恰好承担了高流量分区(比如keyBy之后某个key的数据量特别大),而它所在的TaskManager又没有多余的资源做缓冲,背压就会从该TaskManager传播到上游,整个拓扑的吞吐被拖到最低点。注意,这里即使Slot分布均匀,数据倾斜也可能导致单点热点,但Slot分布不均匀会放大这个热点的影响面,因为它把多个高负载子任务叠在了同一台机器上。
第三是故障恢复的代价不均匀。Flink做Task Failover时,如果一个TaskManager挂了,它上面所有Task都需要重新调度和恢复。如果这台机器上堆了8个并行子任务,重启恢复的时间和下游对齐成本就是别人的好几倍。极端情况下,恢复过程中又会因为资源不足触发二次分配,雪上加糕。
第四是资源碎片化。当Slot被不均匀占用后,集群里会剩余很多“零散Slot”。比如TM1满了、TM2剩2、TM3剩3,接下来你提交一个并行度4的作业,会面临两种选择:要么拆到两台上,跨机器传输增多;要么再等一个作业释放出一台完整的机器。无论哪种,资源利用率和作业性能都会打折扣。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 先搞懂Flink Slot分配的基本逻辑
2.1 Slot是什么,别把它当成固定容器
很多人把Slot理解成TaskManager上的一块固定大小的内存区域,这不太准确。Flink的Slot本质上是TaskManager资源池里的一个“调度凭证”,它决定了这个TaskManager最多能同时运行多少个并行子任务(准确说是多少个Slot Sharing Group实例)。Slot本身没有固定的内存划分,TaskManager的所有任务共享JVM堆内存和托管内存,Slot只是并发执行能力的上限控制。
一个Slot能跑多少个算子,取决于Slot Sharing Group的配置。默认情况下,整个作业的所有算子共享同一个group,所以一个Slot里会串起Source、KeyBy、Window、Sink等一条完整的pipeline。这也就意味着,给一个Slot分配一个subtask,实际上是把这一整条pipeline的一个实例放到这台TaskManager上。所以在判断TaskManager负载时,只看Slot数量是不够的,还得看每个Slot里跑的是轻量Filter还是重量级Window。
