Kettle全局异常捕获与日志邮件通知方案详解

1. 项目概述

作为一名在ETL领域摸爬滚打多年的老兵，今天想和大家分享一个Kettle（现称WebSpoon）中非常实用的技巧——全局异常捕获的进阶方案。这个方案源于实际项目中的痛点：当作业或转换失败时，我们往往只能收到简单的"成功/失败"通知，却无法获取详细的错误日志。经过社区网友的智慧结晶和我的实测验证，终于找到了一套可靠的解决方案。

这个方案的核心价值在于：

• 完整捕获作业执行过程中的详细日志
• 通过邮件自动发送错误详情
• 适用于复杂的多分支作业场景
• 无需额外编写代码，完全通过Kettle原生功能实现

2. 核心原理与架构设计

2.1 Kettle日志系统解析

Kettle的日志系统分为多个层级：

1. 基础日志：记录作业/转换的开始、结束时间等基本信息
2. 步骤日志：记录每个步骤的执行详情
3. 行级日志：记录数据行的处理细节（最详细）

日志输出方式有两种：

• 控制台输出（默认）
• 文件输出（本方案采用）

2.2 异常捕获机制

Kettle的异常处理遵循以下流程：

1. 作业/转换执行过程中发生错误
2. 错误信息被记录到日志系统
3. 邮件通知步骤捕获到错误状态
4. 从日志文件中提取对应时间段的日志内容
5. 将日志作为附件发送

关键点：邮件步骤可以捕获在其之前执行的所有步骤的状态，无论这些步骤是否在同一分支上。

3. 详细配置步骤

3.1 日志文件配置

3.1.1 作业/转换级别设置

1. 打开作业或转换属性面板
2. 切换到"日志"选项卡
3. 勾选"指定日志文件"选项
4. 配置日志文件路径：
   • 建议使用变量：${Internal.Entry.Current.Directory}/异常日志
   • 这样日志会保存在与作业文件相同的目录下
5. 设置日志文件后缀（如.log）
6. 选择日志级别：
   • 基础调试：选择"基本日志"
   • 详细排错：选择"行级日志"

3.1.2 路径配置技巧

• 使用绝对路径确保权限正确：/var/log/kettle/${Internal.Job.Filename.Name}.log
• 多作业共享日志文件时，添加时间戳：`${Internal.Entry