1. 项目背景与整体思路
1.1 为什么需要从 MySQL 同步到达梦
在实际业务里,MySQL 经常作为业务库跑了很长时间,积累了非常多的数据。随着国产化改造推进,很多系统需要把数据迁移到达梦数据库。迁移这个动作本身不难,真正让人头疼的是增量同步——业务不能停,MySQL 那边每秒钟都在写入,怎么把写入的每一条变更实时或准实时地同步到达梦,这是我这个项目要解决的核心问题。
项目标题里的 "FlinkCDC_达梦JDBC_MySQL同步到达梦" 其实已经把技术选型说得非常清楚了:源头是 MySQL,通过 Flink CDC 捕获 binlog 里的变更,然后借助 JDBC 连接器批量写入达梦数据库。这个方案的优点在于,不用改业务系统的任何代码,对源库的影响也很小,CDC 模式只需要一个 binlog 读取权限就能完成。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
1.2 技术选型的考量
先说说为什么不用 DataX 或者 Kettle 这种离线同步工具。DataX 做全量迁移确实非常稳,但是增量同步需要配合调度系统定时跑批,做不到秒级延迟。Kettle 的 ETL 能力很强,可视化的方式拉数据很方便,但是对 binlog 这个级别的变更捕获支持有限。
Canal 是另一个常见选择,但是它主要把数据先推到消息队列或者直接消费,目标端往往需要自己写消费逻辑。Flink CDC + Flink JDBC 的做法是让 Flink 同时承担"捕获变更"和"写入目标库"两个职责,链路最短,维护成本相对也低。
达梦数据库的 JDBC 驱动基本兼容 MySQL 的 JDBC 用法,但是细节上有不少坑,比如批量提交方式、事务隔离级别、特殊关键字等。这个项目把踩坑过程都记录下来,后面会详细展开。
2. 环境准备与基础配置
2.1 达梦数据库环境
达梦数据库的版本我当时用的是 DM8,建议也使用 DM8 及以上的版本。在正式开始之前需要确认以下几点:
- 达梦数据库已安装并初始化实例。
- 服务器上能用 disql 或达梦管理工具正常连接。
- 有足够权限创建用户、表,以及查看相关系统表。
安装达梦的过程这里不赘述,网上有很多教程,但有一点必须提醒:数据库字符集尽量和 MySQL 保持兼容。如果 MySQL 用的是 utf8mb4,达梦这边建议使用 UTF-8。否则中文或者表情符号写入后,可能在目标端直接变成乱码。
初始化实例完毕之后,建议顺手做一次是否启用归档检查。Flink CDC 虽然不要求目标库开归档,但如果后续要做故障恢复,达梦这边的备份策略还是要提前准备的。
2.2 MySQL 开启 binlog
Flink CDC 读取 MySQL 的数据变更必须依赖 binlog,所以要确保 MySQL 开启了 binlog 并且使用 row 格式。
ini复制[mysqld]
server-id=1
log-bin=mysql-bin
binlog_format=row
binlog_row_image=full
expire_logs_days=7
修改完配置文件之后重启 MySQL 服务,然后执行:
sql复制SHOW VARIABLES LIKE 'log_bin';
SHOW VARIABLES LIKE 'binlog_format';
如果 log_bin 是 ON,binlog_format 是 ROW,就说明配置正确。这里有一个非常容易被忽略的点:CDC 读取账号需要至少具备 SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT 这 5 个权限。
sql复制CREATE USER 'flink_cdc'@'%' IDENTIFIED BY 'your_password';
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'flink_cdc'@'%';
FLUSH PRIVILEGES;
2.3 达梦开启 CDC 的特殊处理
这个项目标题里专门提到了"达梦JDBC",但如果你是从 MySQL 同步到达梦,源端只需要 MySQL 的 CDC 能力,达梦那边作为目标库,理论上不需要开启 CDC。不过我在调研过程中发现很多人在搜索"达梦数据库如何开启 CDC",这里也顺便说一下。
达梦自身支持 CDC 功能,主要用于其他数据源同步到达梦的场景。如果你将来要做"到达梦的反向同步",可以在达梦上开启日志归档然后安装 CDC 组件。但本项目只涉及达梦作为目标端,所以只用 JDBC 连接写入即可,不需要额外开启达梦的 CDC。
3. Flink CDC 同步方案设计
3.1 整体链路架构
整个同步链路可以描述为:MySQL binlog → Flink CDC Connector → Flink 算子处理 → Flink JDBC Connector → 达梦数据库。
Flink CDC 的 Table API 在 2.x 版本之后整合到了 Flink 的官方连接器中,如果你用的是 Flink 1.17 或更高版本,建议直接引入 flink-connector-mysql-cdc 这个依赖。之前的版本需要单独引入 flink-cdc-connectors 相关依赖。
Flink 提供的 CDC 连接器可以无缝对接 Flink SQL,支持将 MySQL 表映射为 Flink 动态表,然后通过 JDBC 连接器写入达梦。核心思路如下:
sql复制CREATE TABLE mysql_source (
id INT,
name STRING,
age INT,
create_time TIMESTAMP(3),
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = '192.168.1.100',
'port' = '3306',
'username' = 'flink_cdc',
'password' = 'your_password',
'database-name' = 'source_db',
'table-name' = 'source_table',
'scan.startup.mode' = 'initial'
);
scan.startup.mode 这里我使用的是 initial,意思是全量加增量。它会先把当前表中已存在的历史数据全部读一遍,然后自动切换到 binlog 增量模式。如果只需要增量,可以使用 latest-offset。
3.2 JDBC Sink 的三种实现方式
Flink
