1. 为什么放弃 Spark Streaming:微批模型在实时 ETL 里的三块短板
做实时 ETL 这几年,我踩过最深的坑是把 Spark Streaming 当成万能实时引擎。不是说它不行,而是当你开始做秒级预警、CDC 同步、精确一次写入这些事时,微批模型带来的别扭会一层层显现出来。今年年初我们终于把核心实时链路从 Spark Streaming 全部迁到了 Flink,后续又花了两个季度做全链路优化。这篇文章就是那次升级全过程的复盘,适合正在评估流引擎选型、或者已经决定迁 Flink 但不知道怎么落地的团队参考。
1.1 秒级延迟只是表象,微批调度才是硬伤
很多人把 Spark Streaming 和 Flink 的差距简单理解成“延迟差了几秒”,但实际影响远不止这么简单。
Spark Streaming 的工作方式是把连续的数据流切成一个个小 batch,每个 batch 由 Spark 的 DAG 调度器执行。这里有个天然矛盾:batch interval 设得越小,调度和 task 启动的固定开销占比就越高;设得越大,数据积压就越明显。生产环境里我用过 2 秒、5 秒间隔,再往下到 500ms 时集群资源消耗陡增,但延迟并没有等比例下降。
端到端延迟不只是“数据到齐”的时间。Spark Streaming 要等 batch 边界,要等 executor 启动任务、拉取 shuffle 数据,处理完还要写结果并提交 offset。在同一个 3 节点测试集群上,我拿同一份订单流数据做过对比:Spark Structured Streaming 端到端 P99 大约 3.2 秒,Flink 大概 400ms。这个差异对于分钟级报表无所谓,但你要做实时大屏、风控阈值告警、活动秒杀监控,每一秒的延迟都直接影响业务判断。
Flink 是真正的逐条事件流处理,每个算子内部通过有界队列异步流转,没有“等下一批”的语义。配合事件时间和 watermark 机制,它能在窗口层面严格控制乱序,而不是简单按到达时间切 batch。这一点在数据有乱序、延迟到达的电商场景里尤其重要。
1.2 exactly-once 的实现成本,Flink 比 Spark 低一个量级
实时 ETL 最怕重复数据。上游 Kafka 重放、网络抖动、task 失败重试,任何一个环节出了问题,下游报表数字就会偏。Spark Streaming 想做到端到端 exactly-once,需要三样东西配合:WAL 记录输入日志、手动管理 offset、输出端还要支持幂等或事务。这等于把分布式事务的复杂度甩给了开发者。
我印象最深的是用 Spark Structured Streaming 写 MySQL 的场景。为了保证不重复,我不得不在写入层用唯一键做 upsert,再配合 checkpoint 管理 offset。这套方案能跑,但每次调整逻辑都要小心,否则 offset 提交和结果写入一旦不一致,对账对到怀疑人生。
Flink 把 exactly-once 做成了框架能力。它的 checkpoint 机制定期对分布式状态做快照,失败恢复时从最近一次完成的 checkpoint 重新做,下游通过两阶段提交(two-phase commit)统一提交事务。你只需要在 connector 层面选择支持 exactly-once 的 source/sink,比如 Kafka、JDBC 带主键的 upsert,剩下的脏活框架包了。
这条差异直接决定了维护成本。Spark Streaming 的 EOS 实现像手动挡,你要随时关注离合和转速;Flink 更像自动挡,设置好 checkpoint 参数后基本不用操心,除非你自己写出有副作用的外部调用。
1.3 连接器生态和 CDC 支持,Spark Streaming 的明显短板
实时 ETL 绕不开 CDC(Change Data Capture)。业务库的订单表、库存表一变,实时链路就得跟着变。Spark Streaming 想接 CDC,通常是自己起一个 Debezium Embedded 引擎消费 binlog,再把变更事件转成 DataFrame。听起来可行,但你要处理全量快照与增量 binlog 的切换、offset 持久化、DDL 变更的同步、分库分表数据汇聚。这一套下来,基本是重新造了个轮子。
Flink 这边直接用 Flink CDC connector,一个依赖、几行 DDL 就能把 MySQL 整库实时同步到 Kafka 或数据湖。Flink CDC 2.x 之后还支持增量快照,会把大表按主键范围切分成多个 chunk 并行读取,不会因为全量扫描把线上库压垮。
除此之外,Flink 的 connector 生态覆盖面广很多。我们链路里用到的 Kafka、MySQL、ClickHouse、Hudi、Doris,都有官方维护的 connector,而且 Flink SQL 里用 CREATE TABLE 就能声明一张源表或结果表,比在 Spark 里调各种 DataFrameWriter 接口要直观得多。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 升级前的准备:版本选型、部署方式与迁移边界评估
2.1 Flink 版本怎么选:我选了 1.16.2,而不是最新版
技术选型最忌讳“拿新开刀”。我们评估了几条线的稳定性后,锁定了 Flink 1.16.2。
选择依据是这样排的:Flink 1.13 开始做了一个很重要的整合,DataStream API 和 Table API 的流批统一走向成熟;1.14 解决了早期版本里很多状态后端和 SQL 的坑;而 Flink CDC 2.3 之后才支持动态加表、分库分表合并这些我们在意的高级特性,它和 Flink 1.16 的配合验证案例明显多于其他版本。
还有一个硬约束是 Hadoop/YARN 版本兼容。我们的集群在 CDH 6.3.x 体系下,社区版 Flink 对 Hadoop 3.x 的兼容性比 Hadoop 2.x 时代干净很多,但不同发行版对 flink-shaded-hadoop 的处理并不一致。我建议在正式选型前,先在测试环境用你们的真实 YARN 配置跑一个 validate 作业,确认资源申请、日志聚合都正常,再定版本。
版本定了之后,把依赖锁定到 pom 里,团队内部统一用同一套镜像或同一个 lib 目录,不允许每个人自带不同版本的 flink-client 打进去。这个细节我们后来吃过亏,在排查 Datasophon 上传 Job 失败
