MyBatis拦截器优化SQL日志存储实践

1. 为什么我们需要自定义MyBatis拦截器优化SQL日志存储

在分布式系统架构中，SQL日志是排查问题的重要依据。但传统方式下，MyBatis默认输出的SQL日志往往包含大量冗余信息，导致存储成本居高不下。以一个日均百万级请求的中型系统为例，原始SQL日志每天可能占用超过50GB存储空间，其中至少30%的内容是重复的模式化信息（如参数类型转换、自动生成的where条件等）。

我曾在金融支付系统中处理过类似问题。当时系统每天产生约80GB的SQL日志，通过自定义拦截器优化后，存储量直接降至56GB左右。这不仅仅是存储成本的降低，更显著提升了日志检索效率——原本需要扫描10分钟的日志查询，优化后3秒内就能定位目标记录。

2. 拦截器核心设计思路解析

2.1 日志瘦身的三个关键方向

1. 参数压缩：将"price = 100"这样的参数值转换为占位符，日志中只保留"price = ?"的结构化模板
2. 语句去重：对批量操作的重复SQL（如批量插入）记录模板和次数而非完整语句
3. 上下文精简：移除MyBatis自动添加的非必要元信息（如org.apache.ibatis...前缀）

2.2 拦截点选择策略

最有效的拦截点是StatementHandler的prepare方法。这里能获取到：

• 原始SQL模板（未替换参数的）
• 绑定参数对象
• 执行类型（SELECT/UPDATE等）

不同于在Executor层面拦截，此处能避免已经过参数替换的完整SQL，便于我们进行结构化处理。

3. 完整拦截器实现步骤

3.1 基础拦截器框架搭建

java复制@Intercepts({
    @Signature(type = StatementHandler.class,
              method = "prepare",
              args = {Connection.class, Integer.class})
})
public class SqlLoggerInterceptor implements Interceptor {
    private static final Pattern PARAM_PATTERN = Pattern.compile("\\?(?=\\s|$)");
    
    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        StatementHandler handler = (StatementHandler) invocation.getTarget();
        BoundSql boundSql = handler.getBoundSql();
        
        // 原始SQL模板（带?占位符）
        String sqlTemplate = boundSql.getSql();  
        // 参数映射
        Object parameterObject = boundSql.getParameterObject();
        
        // 日志处理逻辑...
        return invocation.proceed();
    }
}

3.2 参数压缩算法实现

核心是将select * from orders where id=?这样的SQL转换为结构化日志：

java复制String compressParameters(String sql, Object params) {
    // 1. 提取参数值
    Map<String, Object> paramMap = extractParams(params);
    
    // 2. 构建参数类型摘要
    StringBuilder typeSummary = new StringBuilder("[");
    for (Object value : paramMap.values()) {
        typeSummary.append(value.getClass().getSimpleName()).append(",");
    }
    typeSummary.setLength(typeSummary.length()-1);
    typeSummary.append("]");
    
    // 3. 替换SQL中的?占位符
    return PARAM_PATTERN.matcher(sql)
                       .replaceAll("?/*"+typeSummary+"*/");
}

最终输出示例：

sql复制/* 原始日志 */
SELECT * FROM users WHERE username='admin' AND status=1

/* 优化后 */
SELECT * FROM users WHERE username=?/*[String,Integer]*/ AND status=?/*[String,Integer]*/

3.3 批量操作的特殊处理

对于批量插入场景，通过识别INSERT INTO ... VALUES (?,?),(?,?)模式：

java复制if (sqlTemplate.matches("(?i)INSERT.+VALUES\\s*(\\(\\?[^)]*\\)\\s*,\\s*)+")) {
    int paramCount = StringUtils.countMatches(sqlTemplate, "?");
    int valueGroups = StringUtils.countMatches(sqlTemplate, "(?");
    
    return String.format("/* BATCH INSERT %d rows */ %s", 
           paramCount/valueGroups, 
           sqlTemplate.replaceAll("\\(\\?[^)]*\\)(\\s*,\\s*\\(\\?[^)]*\\))+", "(...)"));
}

处理结果示例：

sql复制/* 原始日志 */
INSERT INTO logs VALUES (1,'2023-01-01','INFO','start'),(2,'2023-01-01','DEBUG','init'),... 

/* 优化后 */
/* BATCH INSERT 50 rows */ INSERT INTO logs VALUES (...)

4. 存储成本优化效果验证

4.1 测试数据对比

4.2 生产环境实测数据

在某电商系统灰度发布期间的对比：

• 日志总量从日均47GB降至33GB（↓29.8%）
• ES索引大小从1.2TB/month降至860GB/month
• 日志查询P99延迟从12s降至4s

5. 高级优化技巧与避坑指南

5.1 动态采样策略

为避免过度压缩导致调试困难，建议实现采样机制：

java复制// 按SQL类型设置不同采样率
private boolean shouldLogDetail(String sql) {
    if (sql.startsWith("SELECT")) {
        return random.nextInt(100) < 10; // 10%采样
    }
    return random.nextInt(100) < 30; // 30%采样
}

5.2 敏感数据脱敏

在参数压缩阶段自动识别并脱敏：

java复制String maskSensitiveData(String value) {
    if (value == null) return null;
    
    // 身份证号脱敏
    if (value.toString().matches("\\d{17}[\\dXx]")) {
        return value.toString().replaceAll("(\\d{6})\\d{8}(\\w{4})", "$1****$2");
    }
    // 手机号脱敏
    if (value.toString().matches("1\\d{10}")) {
        return value.toString().replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2");
    }
    return value;
}

5.3 常见问题排查

问题1：拦截器不生效

• 检查@Intercepts注解配置是否正确
• 确认拦截器已在MyBatis配置中注册
• 检查是否有其他拦截器修改了SQL

问题2：参数位置错乱

• 使用ParameterHandler获取准确参数映射
• 对于Map参数，使用MetaObject工具类解析

问题3：批量操作识别错误

• 添加/* BATCH */注释明确标记批量操作
• 通过SqlCommandType判断操作类型

6. 与其他日志方案的对比优势

在实际项目中，我推荐组合使用本方案+采样全量日志。将95%的请求通过拦截器压缩存储，同时随机保留5%的完整日志用于调试，这样能在成本和可用性间取得最佳平衡。