1. Otter数据同步方案概述

Otter是阿里开源的一款基于数据库增量日志解析的数据同步中间件，主要解决分布式环境下跨机房、跨地域的数据同步问题。我在金融行业数据迁移项目中深度使用过这套系统，它最核心的价值在于实现了低延迟、高可用的异构数据源同步。

与常见的数据同步工具相比，Otter有三个显著特点：

• 基于Canal的增量订阅模式，对源库几乎无压力
• 采用双机房部署架构，自动处理网络分区问题
• 支持数据过滤、转换等ETL基础功能

典型应用场景包括：

• 异地多活架构下的数据同步
• 在线业务与数据分析系统间的数据管道
• 传统数据库到NewSQL的迁移过渡方案

2. 核心架构解析

2.1 组件拓扑结构

完整的Otter部署包含四个核心组件：

1. Manager：配置管理中心（建议独立部署）
   • 负责节点管理、任务配置
   • 存储元数据到MySQL
2. Node：工作节点（通常与数据库同机房部署）
   • 启动Canal解析binlog
   • 执行数据装载到目标库
3. Zookeeper：协调服务
   • 维护节点心跳
   • 分布式锁服务
4. 数据库：
   • 源库需开启binlog（ROW模式）
   • 目标库根据场景可选多种类型

2.2 数据流转原理

同步流程可分为六个阶段：

1. 日志抓取：Canal模拟从库拉取binlog
2. 日志解析：将二进制日志转为内存对象
3. 日志过滤：根据配置过滤表、字段
4. 日志转换：字段映射、数据脱敏等处理
5. 负载均衡：通过ZK分配处理节点
6. 数据装载：按事务粒度写入目标库

关键设计：采用异步线程模型，解析和装载分离，通过内存队列缓冲

3. 详细部署指南

3.1 基础环境准备

硬件要求：

• Manager：2C4G（建议云主机）
• Node：4C8G（与数据库同可用区）
• 带宽：机房之间≥10Mbps

软件依赖：

bash复制# 所有节点
JDK 1.8+
MySQL 5.6+ (用于元数据存储)

# Node节点额外需要
Canal 1.1.4+
Zookeeper 3.4.6+