The Type1. Kettle与达梦数据库集成概述
在企业级数据集成场景中，Pentaho Data Integration（简称Kettle）作为开源ETL工具的代表，与国产达梦数据库(DM Database)的对接需求日益增长。最近在实施某政务云项目时，我需要将Kettle 9.2与达梦DM8数据库进行集成，整个过程涉及JDBC驱动配置、连接参数优化以及中国特色化改造等关键环节。
达梦数据库作为国产数据库的领军产品，其V8版本在Oracle兼容性和性能方面有显著提升。但在实际对接过程中，我发现官方文档对Kettle这类第三方工具的集成说明较为简略。本文将基于实战经验，详细解析从驱动配置到作业调优的全流程，特别是如何处理达梦特有的数据类型映射和SQL语法差异问题。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与驱动配置
2.1 组件版本匹配原则
在开始配置前，必须确保各组件的版本兼容性。我的环境配置如下：
- Kettle版本：pdi-ce-9.2.0.0-290（社区版）
- 达梦数据库：DM Database Server 64 V8（内核版本8.1.2.192）
- JDK版本：OpenJDK 11（达梦8对JDK11+有更好支持）
重要提示：达梦8的JDBC驱动（DmJdbcDriver18.jar）与Kettle 9.2存在潜在的类加载冲突，建议使用驱动版本7.1.5以上但低于8.7的版本。
2.2 驱动部署实操
-
获取驱动文件：
- 从达梦安装目录
/dmdbms/drivers/jdbc获取以下文件：- DmJdbcDriver18.jar（主驱动）
- DmDialect-for-hibernate5.3.jar（方言支持）
- 或从达梦官网下载JDBC驱动包
- 从达梦安装目录
-
Kettle库文件部署：
bash复制# 将驱动复制到Kettle的lib目录
cp DmJdbcDriver18.jar /opt/kettle/data-integration/lib/
cp DmDialect-for-hibernate5.3.jar /opt/kettle/data-integration/lib/
- 驱动有效性验证：
java复制// 可编写简单测试类验证驱动加载
Class.forName("dm.jdbc.driver.DmDriver");
Connection conn = DriverManager.getConnection(
"jdbc:dm://192.168.1.100:5236/SYSDBA",
"SYSDBA",
"SYSDBA"
);
3. 连接配置详解
3.1 图形界面配置步骤
- 启动Spoon.sh图形界面
- 点击主菜单"工具" > "数据库" > "连接"
- 新建连接并填写关键参数：
| 参数项 | 达梦专用值 |
|---|---|
| 连接名称 | DM_TEST |
| 连接类型 | Generic database |
| 自定义连接URL | jdbc:dm://host:port/SYSDBA |
| 驱动类名 | dm.jdbc.driver.DmDriver |
| 用户名/密码 | SYSDBA/SYSDBA |
- 高级参数配置：
- 在"选项"标签页添加：
defaultRowPrefetch=50（提高数据抽取效率）batchSize=1000（批量提交大小）
- 在"选项"标签页添加：
3.2 连接池优化技巧
在$KETTLE_HOME/simple-jndi/jdbc.properties中可配置连接池：
properties复制DM_TEST/type=javax.sql.DataSource
DM_TEST/driver=dm.jdbc.driver.DmDriver
DM_TEST/url=jdbc:dm://192.168.1.100:5236/SYSDBA
DM_TEST/user=SYSDBA
DM_TEST/password=SYSDBA
DM_TEST/maxActive=20
DM_TEST/maxIdle=5
DM_TEST/validationQuery=SELECT 1 FROM DUAL
实测发现：达梦的连接空闲超时默认为600秒，建议设置连接池的testWhileIdle=true
4. 数据类型映射方案
4.1 标准类型对照表
| 达梦类型 | Kettle类型 | 处理建议 |
|---|---|---|
| CHAR | String | 注意定长空格处理 |
| VARCHAR | String | 默认映射 |
| CLOB | String | 需设置streaming参数 |
| BLOB | Binary | 使用"获取二进制数据"步骤 |
| NUMBER | BigDecimal | 指定精度和标度 |
| DATE | Date | 时区问题需特别注意 |
4.2 特殊类型处理
大字段处理方案：
sql复制-- 达梦端建表语句示例
CREATE TABLE DOC_STORE (
DOC_ID NUMBER PRIMARY KEY,
DOC_CONTENT TEXT, -- 达梦特有TEXT类型
DOC_IMAGE BLOB
);
在Kettle转换中：
- 添加"表输入"步骤
- 在SQL中明确指定大字段类型：
sql复制SELECT DOC_ID, CAST(DOC_CONTENT AS VARCHAR(10000)) AS DOC_CONTENT
FROM DOC_STORE
5. SQL语法适配策略
5.1 常见语法差异
-
分页查询：
sql复制-- 达梦分页语法 SELECT * FROM ( SELECT t.*, ROWNUM rn FROM ( SELECT * FROM EMP ORDER BY EMPNO ) t WHERE ROWNUM <= 20 ) WHERE rn > 10 -
日期函数：
sql复制-- 达梦日期计算 SELECT ADD_DAYS(SYSDATE, 3) FROM DUAL
5.2 存储过程调用
达梦存储过程调用示例：
sql复制-- Kettle中"调用DB过程"步骤配置
CALL PROC_UPDATE_SALARY(?, ?)
参数映射设置：
- 第一个参数：IN类型，员工ID
- 第二个参数：OUT类型，返回影响行数
6. 性能优化实战
6.1 批量插入方案对比
| 方案 | 10万条耗时 | 适用场景 |
|---|---|---|
| 单条INSERT | 325s | 小数据量 |
| 批量模式 | 47s | 常规使用 |
| 使用达梦LOADER | 12s | 超大数据量(需装客户端) |
配置批量插入步骤：
- 在"表输出"步骤中：
- 勾选"批量插入"
- 设置提交记录数为5000
- 添加
rewriteBatchedStatements=true到连接参数
6.2 并行抽取策略
在"表输入"步骤中：
sql复制-- 使用达梦伪列实现数据分片
SELECT * FROM SALES
WHERE MOD(ORDER_ID, ${Internal.Step.CopyNr})=0
作业级配置：
- 设置转换的"复制数量"为5
- 每个副本处理不同的数据分片
7. 常见问题排查
7.1 连接类问题
问题现象：连接30分钟后自动断开
- 解决方案：
- 在连接URL添加：
?idleTimeout=3600 - 配置连接池的testOnBorrow=true
- 在连接URL添加：
问题现象：驱动类找不到
- 检查点：
- 确认驱动在lib目录
- 检查JRE的ext目录是否有冲突驱动
- 设置KETTLE_EXTRA_CLASSPATH环境变量
7.2 数据乱码处理
典型场景：中文字符显示为问号
- 确认达梦数据库字符集：
sql复制SELECT SF_GET_UNICODE_FLAG(); - 在Kettle连接URL添加：
code复制jdbc:dm://host:port/SYSDBA?charset=GB18030 - 转换步骤中设置编码转换
8. 安全配置建议
8.1 密码加密方案
- 使用Kettle的密码加密工具：
bash复制./encr.sh -kettle abc123
- 在连接配置中使用加密后的密码：
xml复制<connection>
<name>DM_SECURE</name>
<password>Encrypted 2be98afc86aa7f2e4cb79ce10e88b7de</password>
</connection>
8.2 权限最小化原则
建议创建专用账号而非SYSDBA：
sql复制CREATE USER ETL_USER IDENTIFIED BY "Etl@2023";
GRANT SELECT ON SCHEMA.* TO ETL_USER;
GRANT INSERT ON TARGET_TABLES TO ETL_USER;
9. 监控与维护
9.1 日志配置技巧
在$KETTLE_HOME/log4j.xml中添加达梦专用日志：
xml复制<Logger name="dm.jdbc" level="DEBUG" additivity="false">
<AppenderRef ref="FILE"/>
</Logger>
9.2 性能监控SQL
在作业中嵌入达梦性能查询：
sql复制-- 记录执行前的会话状态
INSERT INTO ETL_MONITOR
SELECT SESSID, SQL_TEXT, ELAPSED_TIME
FROM V$SESSIONS WHERE USERNAME='ETL_USER'
10. 国产化改造要点
在政务项目中遇到的特殊需求处理：
-
ARM架构适配：
- 使用达梦提供的ARM版JDBC驱动
- 在Kettle启动脚本添加：
bash复制export LD_LIBRARY_PATH=/dmdbms/bin:$LD_LIBRARY_PATH
-
麒麟系统支持：
- 安装达梦的kylin兼容包
- 修改spoon.sh：
bash复制VMARGS="-Dos.name=Linux"
-
数据脱敏处理：
在转换中使用"数据脱敏"步骤，配置达梦特有的加密函数：sql复制SELECT ENCRYPT(ID_CARD, 'AES256') FROM USER_INFO
经过多个项目的验证，这套配置方案在达梦DM8与Kettle 9.2的集成中表现稳定。特别是在处理千万级数据迁移时，通过合理的批量参数和并行设置，能够将传统需要数小时的任务压缩到30分钟内完成。对于达梦特有的CLOB字段处理，建议在SQL中明确指定长度限制，避免内存溢出问题。