动态SQL与模糊查询实战指南

1. 动态SQL与模糊查询的黄金组合

作为一名常年与数据库打交道的开发者，我深刻理解查询功能在实际业务中的核心地位。而动态SQL实现模糊查询，可以说是数据处理领域的"瑞士军刀"——它既能应对复杂的查询需求，又能保持代码的优雅简洁。最近在优化一个客户管理系统时，我再次体会到这个技术组合的强大之处。

动态SQL允许我们根据运行时条件动态构建SQL语句，而模糊查询则突破了精确匹配的限制。当二者结合时，我们就能创建出灵活且强大的数据检索功能。比如在电商平台中搜索商品时，用户输入"手机"可能想找"智能手机"或"5G手机"；在CRM系统中，输入"张"可能想查询所有张姓客户。这些都是模糊查询的典型应用场景。

2. 核心原理与技术选型

2.1 动态SQL的实现方式

动态SQL主要有三种实现路径：

1. 字符串拼接：最基础的方式，通过条件判断拼接SQL字符串

java复制String sql = "SELECT * FROM products WHERE 1=1";
if (name != null) {
    sql += " AND name LIKE '%" + name + "%'";
}

2. 模板引擎：使用MyBatis、JPA等框架提供的动态SQL功能

xml复制<select id="searchProducts">
  SELECT * FROM products
  <where>
    <if test="name != null">
      AND name LIKE CONCAT('%', #{name}, '%')
    </if>
  </where>
</select>

3. 查询构建器：如JOOQ、QueryDSL等类型安全的API

java复制List<Product> results = queryFactory.selectFrom(product)
    .where(product.name.like("%" + name + "%"))
    .fetch();

重要提示：字符串拼接方式存在SQL注入风险，在实际项目中应优先考虑后两种方案

2.2 模糊查询的语法差异

不同数据库对模糊查询的实现略有差异：

3. 实战：构建安全的动态模糊查询

3.1 MyBatis动态SQL实现

以Spring Boot + MyBatis为例，实现一个多条件产品搜索接口：

java复制@Mapper
public interface ProductMapper {
    List<Product> searchProducts(
        @Param("name") String name,
        @Param("category") String category,
        @Param("minPrice") BigDecimal minPrice);
}

对应的XML映射文件：

xml复制<select id="searchProducts" resultType="Product">
  SELECT * FROM products
  <where>
    <if test="name != null and name != ''">
      AND name LIKE CONCAT('%', #{name}, '%')
    </if>
    <if test="category != null">
      AND category = #{category}
    </if>
    <if test="minPrice != null">
      AND price >= #{minPrice}
    </if>
  </where>
  ORDER BY create_time DESC
</select>

3.2 JPA Criteria API实现

对于使用JPA的项目，可以通过Criteria API实现类型安全的动态查询：

java复制public List<Product> searchProducts(String name, String category, BigDecimal minPrice) {
    CriteriaBuilder cb = entityManager.getCriteriaBuilder();
    CriteriaQuery<Product> query = cb.createQuery(Product.class);
    Root<Product> root = query.from(Product.class);
    
    List<Predicate> predicates = new ArrayList<>();
    
    if (StringUtils.isNotBlank(name)) {
        predicates.add(cb.like(root.get("name"), "%" + name + "%"));
    }
    
    if (StringUtils.isNotBlank(category)) {
        predicates.add(cb.equal(root.get("category"), category));
    }
    
    if (minPrice != null) {
        predicates.add(cb.ge(root.get("price"), minPrice));
    }
    
    query.where(predicates.toArray(new Predicate[0]));
    return entityManager.createQuery(query).getResultList();
}

4. 性能优化与避坑指南

4.1 索引使用策略

模糊查询最大的性能杀手是前导通配符（如%关键词）。优化方案包括：

1. 后置通配符优先：关键词%可以利用索引
2. 全文索引：对于大文本字段，考虑使用FULLTEXT索引
3. 搜索引擎集成：Elasticsearch等专业搜索工具

sql复制-- 创建支持后置通配符的索引
CREATE INDEX idx_product_name ON products(name(20));

-- 全文索引示例
CREATE FULLTEXT INDEX ft_idx_product_desc ON products(description);

4.2 参数预处理技巧

1. 去除多余空格：StringUtils.trim(input)
2. 限制输入长度：避免超长字符串导致性能问题
3. 敏感字符转义：防止SQL注入

java复制public String safeLikeParam(String input) {
    if (input == null) return null;
    return "%" + input.trim()
                      .replace("!", "!!")
                      .replace("%", "!%")
                      .replace("_", "!_")
                      .replace("[", "![") + "%";
}

4.3 分页查询优化

结合动态SQL实现高效分页：

xml复制<select id="searchProductsWithPage" resultType="Product">
  SELECT * FROM products
  <where>
    <!-- 动态条件 -->
  </where>
  ORDER BY create_time DESC
  LIMIT #{pageSize} OFFSET #{offset}
</select>

对于大数据量，考虑使用"游标分页"：

sql复制-- 基于最后一条记录的ID
SELECT * FROM products 
WHERE id < #{lastId} AND name LIKE '%#{keyword}%'
ORDER BY id DESC
LIMIT 20

5. 实际案例：电商商品搜索系统

5.1 需求分析

某电商平台需要实现以下搜索功能：

• 支持商品名称、分类、价格区间的组合查询
• 名称支持模糊匹配
• 结果按相关性排序
• 日均查询量50万+

5.2 最终实现方案

采用Elasticsearch作为搜索引擎，MySQL作为主数据库的双写架构：

1. 数据同步：通过Canal监听MySQL binlog
2. 索引设计：

json复制{
  "mappings": {
    "properties": {
      "name": { "type": "text", "analyzer": "ik_max_word" },
      "category": { "type": "keyword" },
      "price": { "type": "double" }
    }
  }
}

3. 搜索接口：

java复制public Page<Product> searchProducts(SearchParam param) {
    NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
    
    // 名称模糊查询
    if (StringUtils.isNotBlank(param.getKeyword())) {
        queryBuilder.withQuery(QueryBuilders.matchQuery("name", param.getKeyword()));
    }
    
    // 精确分类过滤
    if (StringUtils.isNotBlank(param.getCategory())) {
        queryBuilder.withFilter(QueryBuilders.termQuery("category", param.getCategory()));
    }
    
    // 价格区间
    if (param.getMinPrice() != null || param.getMaxPrice() != null) {
        RangeQueryBuilder rangeQuery = QueryBuilders.rangeQuery("price");
        if (param.getMinPrice() != null) rangeQuery.gte(param.getMinPrice());
        if (param.getMaxPrice() != null) rangeQuery.lte(param.getMaxPrice());
        queryBuilder.withFilter(rangeQuery);
    }
    
    // 分页
    queryBuilder.withPageable(PageRequest.of(param.getPage(), param.getSize()));
    
    return elasticsearchTemplate.queryForPage(queryBuilder.build(), Product.class);
}

6. 常见问题解决方案

6.1 中文分词问题

问题现象：搜索"笔记本电脑"匹配不到"笔记本"相关商品

解决方案：

1. MySQL启用ngram分词：

sql复制CREATE FULLTEXT INDEX ft_idx_name ON products(name) WITH PARSER ngram;

2. 或使用专业分词器（如IK Analyzer）

6.2 性能突然下降

可能原因：

• 前导通配符查询激增
• 缓存失效
• 索引统计信息过期

排查步骤：

1. 使用EXPLAIN分析慢查询
2. 检查缓存命中率
3. 更新统计信息：ANALYZE TABLE products

6.3 特殊字符处理

问题场景：搜索包含%或_的内容时结果异常

解决方案：

java复制// MyBatis中的处理方式
@Select("SELECT * FROM products WHERE name LIKE CONCAT('%', REPLACE(REPLACE(#{name}, '%', '\\%'), '_', '\\_'), '%')")
List<Product> searchProducts(@Param("name") String name);

7. 进阶：多字段联合模糊搜索

对于需要同时搜索多个字段的场景：

xml复制<select id="searchProducts" resultType="Product">
  SELECT * FROM products
  <where>
    <if test="keyword != null">
      AND (name LIKE CONCAT('%', #{keyword}, '%') 
           OR description LIKE CONCAT('%', #{keyword}, '%')
           OR category LIKE CONCAT('%', #{keyword}, '%'))
    </if>
  </where>
</select>

更高效的方案是使用计算列：

sql复制ALTER TABLE products ADD COLUMN search_content TEXT GENERATED ALWAYS AS 
(CONCAT(name, ' ', description, ' ', category)) STORED;

CREATE FULLTEXT INDEX ft_idx_search ON products(search_content);

8. 安全防护措施

1. SQL注入防护：

   • 永远不要直接拼接用户输入
   • 使用预编译语句
   • 对特殊字符进行转义

2. 搜索限流：

   • 限制高频查询
   • 实现验证码机制
   • 监控异常搜索模式

3. 敏感数据过滤：

   • 搜索结果脱敏处理
   • 实现权限控制

java复制// Spring Security示例
@PreAuthorize("hasRole('SEARCH')")
@GetMapping("/search")
public Page<Product> searchProducts(@Valid SearchParam param) {
    // 实现逻辑
}

9. 监控与调优

建立完善的监控体系：

1. 慢查询监控：

sql复制-- MySQL慢查询日志
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = 1;

2. 缓存命中率监控：

java复制// Spring Cache示例
@Cacheable(value = "products", key = "#param.hashCode()")
public Page<Product> searchProducts(SearchParam param) {
    // 实现逻辑
}

3. 性能指标采集：

prometheus复制# Prometheus指标
search_latency_seconds_bucket{operation="product_search",le="0.1"} 42
search_latency_seconds_bucket{operation="product_search",le="0.5"} 128

10. 替代方案对比

当数据量超过千万级时，考虑以下替代方案：

在最近的一个项目中，我们将商品搜索从MySQL迁移到Elasticsearch后，查询响应时间从平均800ms降低到了50ms以内，同时支持了更复杂的搜索语法。