DMHS数据同步工具原理与实战部署指南

1. DMHS数据同步工具概述

达梦数据实时同步软件DMHS（Dameng High-availability Synchronization）是国产数据库领域的重要组件，专为解决企业级数据同步需求而设计。作为一名长期从事数据库运维的工程师，我在多个生产环境中部署过这套系统，它最吸引我的特点是其出色的异构兼容性和稳定的同步性能。

DMHS本质上是一个基于日志解析的数据复制系统，支持达梦、Oracle、MySQL等多种数据库之间的实时数据同步。与传统的ETL工具不同，DMHS采用事务级同步机制，能够保证数据的一致性和完整性，特别适合金融、政务等对数据准确性要求高的场景。

在实际项目中，DMHS通常用于以下场景：

• 主备数据库实时同步
• 异构数据库迁移
• 数据仓库实时加载
• 业务系统读写分离

2. DMHS核心架构解析

2.1 模块化设计理念

DMHS采用模块化架构设计，各组件职责分明。这种设计带来的最大优势是灵活性和可扩展性——用户可以根据实际需求组合不同的模块，构建适合自己业务场景的同步方案。

核心模块组成：

1. 管理模块(MGR)：系统的大脑，负责解析配置、调度其他模块
2. 捕获模块(CPT)：源端核心组件，解析数据库日志
3. 执行模块(EXEC)：目标端核心组件，执行数据装载
4. 传输模块(NET)：负责模块间数据传输
5. 装载模块(LOAD)：批量数据初始化工具

提示：模块间的通信采用TCP/IP协议，默认使用5345端口，生产环境中建议配置防火墙规则保护此端口。

2.2 捕获器工作原理

捕获器是DMHS最核心的组件之一，其工作流程值得深入理解：

1. 日志读取：持续监控源数据库的归档日志（redo log）
2. 日志解析：将二进制日志转换为逻辑操作（insert/update/delete）
3. 数据过滤：根据配置规则过滤不需要同步的数据
4. 数据发送：将处理后的数据发送给目标端

关键配置参数：

• parse_thr：日志解析线程数（建议设置为CPU核心数的1/2）
• ddl_mask：DDL同步开关（默认关闭，需要额外配置触发器）
• clear_flag：归档清理策略（0-不清理，1-删除，2-备份）

2.3 执行器工作机制

执行器负责将接收到的数据变更应用到目标数据库，其核心挑战在于：

1. 事务排序：保证事务按照源端提交顺序执行
2. 冲突处理：处理主键冲突等异常情况
3. 性能优化：批量提交减少网络开销

性能调优参数：

• exec_thr：执行线程数（4-8为宜）
• exec_sql：SQL缓存大小（单位KB）
• exec_trx：事务批量提交阈值

3. 部署实战：DM8单机同步

3.1 环境规划要点

在正式部署前，合理的环境规划能避免后续很多问题。根据我的经验，需要特别注意：

1. 网络配置：

   • 确保源端和目标端网络互通
   • 开放必要的端口（默认5345-5346）
   • 建议千兆及以上网络带宽

2. 存储规划：

   • 归档目录要有足够空间（至少保留3天日志）
   • /tmp目录预留1GB以上空间

3. 权限准备：

   • 数据库账号需要SYSDBA权限
   • 操作系统账号需要读写归档目录权限

3.2 源端关键配置

数据库配置：

sql复制-- 必须开启的参数
ALTER SYSTEM SET 'ARCH_INI' = 1 SPFILE;
ALTER SYSTEM SET 'RLOG_APPEND_LOGIC' = 1 SPFILE;

-- 推荐的归档配置
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL
ARCH_DEST = /dmdata/arch
ARCH_FILE_SIZE = 128  -- 单位MB
ARCH_SPACE_LIMIT = 0  -- 0表示不限制

DMHS配置文件详解（dmhs.hs）：

xml复制<cpt>
  <db_type>dm8</db_type>
  <db_server>192.168.30.93</db_server>
  <db_port>5236</db_port>
  <db_user>SYSDBA</db_user>
  <db_pwd>Dameng123</db_pwd>
  <parse_thr>4</parse_thr>  <!-- 根据CPU核心数调整 -->
  
  <send>
    <ip>192.168.30.92</ip>  <!-- 目标端IP -->
    <mgr_port>5345</mgr_port>
    <data_port>5346</data_port>
    
    <!-- 白名单过滤 -->
    <filter>
      <enable>
        <item>SYSDBA.*</item>  <!-- 只同步SYSDBA模式下的表 -->
      </enable>
    </filter>
  </send>
</cpt>

3.3 目标端配置要点

目标端配置相对简单，但需要注意：

1. 提前建表：确保目标端存在对应的表结构
2. 权限检查：执行账号需要有表的读写权限
3. 网络检查：确保能从目标端访问源端的DMHS端口

典型配置示例：

xml复制<exec>
  <recv>
    <data_port>5346</data_port>
  </recv>
  <db_type>dm8</db_type>
  <db_server>127.0.0.1</db_server>
  <db_user>SYSDBA</db_user>
  <db_pwd>Dameng123</db_pwd>
  <db_port>5238</db_port>
  <exec_thr>4</exec_thr>  <!-- 执行线程数 -->
</exec>

4. 初始装载与同步启动

4.1 初始装载的三种模式

初始装载是将源端现有数据全量同步到目标端的过程，DMHS提供多种装载方式：

典型装载命令：

bash复制copy 0 "sch.name='EXAM'" DICT|CREATE|INSERT|INDEX

经验分享：对于超过1TB的大表，建议先按条件分批装载，再开启增量同步，可以显著减少停机时间。

4.2 同步监控与维护

常用监控命令：

bash复制# 查看同步状态
stat

# 检查点信息
show ckpt

# 延迟监控
show delay

日常维护建议：

1. 定期清理过期归档（配置clear_flag=1）
2. 监控网络延迟（show delay）
3. 关注CPT模块的解析延迟

5. 常见问题排查指南

5.1 安装类问题

问题1：安装时报"GLIBC版本不兼容"

• 原因：DMHS安装包与操作系统不匹配
• 解决方案：
  1. 检查系统版本：cat /etc/redhat-release
  2. 下载对应版本的安装包
  3. 或设置兼容模式：export LD_LIBRARY_PATH=/path/to/glibc

问题2：服务启动失败

• 检查步骤：
  1. 查看日志：tail -f /dmhs/log/dmhs_server.log
  2. 检查端口冲突：netstat -tunlp | grep 5345
  3. 验证配置文件语法：xmllint --noout dmhs.hs

5.2 同步异常处理

现象1：数据不同步

• 排查流程：
  1. 检查源端归档是否正常：SELECT * FROM V$ARCHIVED_LOG
  2. 验证网络连通性：telnet 目标IP 5345
  3. 检查CPT模块状态：stat cpt

现象2：同步延迟大

• 优化方案：
  1. 增加parse_thr参数值
  2. 调整归档文件大小（ARCH_FILE_SIZE）
  3. 优化网络带宽

6. 高级配置与性能优化

6.1 DDL同步配置

DDL同步需要额外配置，步骤较复杂：

1. 执行DDL脚本：

sql复制@/dmhs/scripts/ddl_sql_dm8.sql

2. 验证触发器：

sql复制SELECT trigger_name FROM dba_triggers WHERE trigger_name LIKE 'DMHS%';

3. 修改dmhs.hs：

xml复制<ddl_mask>OBJ,USER,GRANT</ddl_mask>

6.2 性能调优实战

根据我的调优经验，以下参数组合效果显著：

xml复制<cpt>
  <parse_thr>8</parse_thr>  <!-- 8核CPU -->
  <arch>
    <clear_interval>300</clear_interval>
    <clear_flag>1</clear_flag>
  </arch>
</cpt>

<exec>
  <exec_thr>8</exec_thr>
  <exec_rows>5000</exec_rows>  <!-- 增大批量提交量 -->
</exec>

配套的数据库参数调整：

sql复制-- 增大日志缓冲区
ALTER SYSTEM SET 'RLOG_BUF_SIZE' = 64M;
-- 优化归档速度
ALTER SYSTEM SET 'ARCH_FILE_SIZE' = 256M;

7. 生产环境部署建议

经过多个项目的实践验证，我总结出以下黄金准则：

1. 高可用设计：

   • 部署DMHS监控进程（如supervisor）
   • 配置VIP漂移机制
   • 实现双通道同步

2. 灾备方案：

   • 定期备份dmhs.hs配置文件
   • 保存关键时间点的LSN位置
   • 准备手工修复脚本

3. 性能基准：

   • 单表同步速度应达到5万行/秒
   • 事务延迟控制在秒级
   • 网络带宽利用率不超过70%

在实际项目中，我曾用这套方案实现了日均10TB级数据的稳定同步，RPO（恢复点目标）达到秒级，完全满足金融级数据同步需求。