从Debezium到Flink CDC:一个数据工程师的踩坑与迁移实战记录
三年前接手公司数据中台项目时,我面对的第一个难题就是如何实现毫秒级延迟的数据库变更捕获。当时团队评估了多种CDC方案,最终选择了Debezium+Kafka Connect的组合——这个决定在初期确实帮我们快速搭建起了数据管道,但随着业务量从日均百万级激增到上亿级别,这套架构开始暴露出各种致命缺陷。本文将分享我们如何从Debezium迁移到Flink CDC的全过程,包括那些教科书上不会写的"血泪教训"。
1. 为什么我们最初选择了Debezium
2019年启动项目时,团队需要快速构建一个能实时同步MySQL订单数据到数仓的管道。当时主要考虑了三个关键因素:
技术栈匹配度:我们已有成熟的Kafka集群和Kubernetes部署体系,而Debezium作为Kafka Connect的原生插件,部署只需一个配置文件:
yaml复制{
"name": "inventory-connector",
"config": {
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"database.hostname": "mysql",
"database.port": "3306",
"database.user": "debezium",
"database.password": "dbz",
"database.server.id": "184054",
"database.server.name": "dbserver1",
"database.include.list": "inventory",
"database.history.kafka.bootstrap.servers": "kafka:9092",
"database.history.kafka.topic": "schema-changes.inventory"
}
}
快速验证能力:通过Kafka Connect的REST API,我们仅用两天就完成了从零到POC的验证:
bash复制# 启动连接器
cu
