Flink实现MySQL到ClickHouse实时数据同步实战

1. 项目背景与核心价值

在数据密集型应用场景中，MySQL作为OLTP系统的代表与ClickHouse这类OLAP引擎的协同已成为现代数据架构的标配。传统ETL工具如Kettle虽然能实现跨数据库同步，但在处理实时性要求高的场景时往往力不从心。Flink 1.20版本通过增强的JDBC连接器和Table API功能，真正实现了配置化实时数据管道搭建。

我最近在某金融风控项目中验证了这套方案：仅用15分钟配置就完成了87张MySQL业务表到ClickHouse的实时同步，TPS稳定在2.3万条/秒，端到端延迟控制在800毫秒内。这种效率相比传统编码方式提升显著——过去同样的需求需要3个开发人日编写定制化代码。

2. 技术方案设计解析

2.1 架构设计原理

整套方案基于Flink SQL Client运行，核心组件包括：

• MySQL CDC连接器：捕获binlog变更事件（INSERT/UPDATE/DELETE）
• Flink SQL Processor：进行字段映射和简单转换
• ClickHouse JDBC Sink：批量写入优化（攒批+重试机制）

sql复制-- 典型配置示例
CREATE TABLE mysql_source (
    id INT,
    user_name STRING,
    create_time TIMESTAMP(3)
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'mysql-host',
    'port' = '3306',
    'username' = 'flinkuser',
    'password' = 'SecurePass123!',
    'database-name' = 'order_db',
    'table-name' = 'orders'
);

CREATE TABLE ck_sink (
    uid INT,
    name STRING,
    ctime DateTime
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:clickhouse://ch-server:8123/analytics',
    'table-name' = 'dim_users',
    'username' = 'ch_writer',
    'password' = 'CH@Password456'
);

2.2 关键技术参数调优

关键提示：ClickHouse的ReplacingMergeTree引擎需要特别处理删除事件，建议在Flink SQL中添加__op_type字段标记操作类型

3. 完整实现流程

3.1 环境准备与依赖配置

首先确保已安装：

• Flink 1.20+（下载带CDC连接器的版本）
• ClickHouse JDBC驱动（版本≥0.3.2）
• MySQL binlog开启ROW模式

bash复制# 启动SQL Client时加载依赖
./bin/sql-client.sh -j lib/flink-connector-jdbc-1.20.0.jar \
                    -j lib/flink-connector-mysql-cdc-2.4.0.jar \
                    -j lib/clickhouse-jdbc-0.3.2.jar

3.2 多表同步实战技巧

对于需要同步的数百张表，推荐使用SQL文件批量执行：

sql复制-- tables_config.sql
SET 'pipeline.name' = 'mysql-to-ch-sync';

-- 表1配置
CREATE TABLE src_table1 (...) WITH (...);
CREATE TABLE sink_table1 (...) WITH (...);
INSERT INTO sink_table1 SELECT * FROM src_table1;

-- 表2配置
CREATE TABLE src_table2 (...) WITH (...);
CREATE TABLE sink_table2 (...) WITH (...);
INSERT INTO sink_table2 SELECT * FROM src_table2;

执行命令：

bash复制./bin/sql-client.sh -f tables_config.sql

3.3 监控与运维方案

通过Flink Web UI监控关键指标：

• source.numRecordsIn：输入数据量
• sink.numRecordsOut：成功写入数
• currentFetchEventTimeLag：数据处理延迟

建议配置Prometheus监控以下指标：

yaml复制metrics.reporters: prom
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter

4. 典型问题排查指南

4.1 连接器常见异常

问题1：CDC连接超时

code复制Caused by: com.github.shyiko.mysql.binlog.network.ServerException: 
Could not find first log file name in binary log index file

解决方案：

1. 确认MySQL用户有REPLICATION权限
2. 检查binlog文件是否存在且可读
3. 在连接配置中添加'scan.startup.mode' = 'latest-offset'

问题2：ClickHouse写入冲突

code复制Code: 252. DB::Exception: Transaction is not supported by storage MergeTree

解决方案：

1. 开启sink的批量写入模式
2. 调整sink.buffer-flush.max-rows为5000-10000
3. 对需要去重的表使用ReplacingMergeTree+Final查询

4.2 性能优化案例

某电商平台同步订单表时出现吞吐下降，通过以下步骤解决：

1. 发现瓶颈在ClickHouse的max_threads设置
2. 在CH配置中增加<max_threads>16</max_threads>
3. 调整Flink的sink.parallelism与CH节点数一致
4. 最终性能从8000行/秒提升到42000行/秒

5. 高级应用场景扩展

5.1 数据转换与清洗

在同步过程中实现轻量ETL：

sql复制INSERT INTO ch_sink
SELECT 
    id AS uid,
    UPPER(user_name) AS name,
    DATE_FORMAT(create_time, 'yyyy-MM-dd HH:mm:ss') AS ctime,
    CASE WHEN status IN (1,3,5) THEN 'active' ELSE 'inactive' END AS user_state
FROM mysql_source;

5.2 多租户隔离方案

对于SaaS系统，通过动态表名实现租户隔离：

sql复制-- 使用变量替换表名
SET 'tenant.id' = 'company_A';
CREATE TABLE ${tenant.id}_orders (...) WITH (...);

5.3 历史数据初始化

结合Flink Batch模式初始化存量数据：

bash复制./bin/flink run -m yarn-cluster \
    -Dexecution.runtime-mode=BATCH \
    -c org.apache.flink.table.planner.connectors.JdbcCatalog \
    lib/flink-connector-jdbc-1.20.0.jar \
    --sql-file init_data.sql

6. 生产环境验证心得

在实际部署中总结出几个关键经验：

1. 网络配置：MySQL与ClickHouse之间的网络延迟应<5ms，否则需要调整sink.buffer-flush.interval
2. 字段类型映射：MySQL的DATETIME默认转为ClickHouse的DateTime64(3)
3. 监控死角：定期检查Flink Checkpoint持续时间，超过1分钟需报警
4. 版本兼容：Flink 1.20与ClickHouse JDBC 0.3.2存在时区处理差异，建议统一使用UTC时间

某次线上故障的教训：当同步包含BLOB字段的表时，由于默认配置的batch size过大导致OOM。解决方案是在表配置中添加：

sql复制'scan.incremental.snapshot.chunk.size' = '1024',
'sink.buffer-flush.max-rows' = '500'