MySQL查询优化与索引设计实战指南

1. MySQL查询与索引核心概念解析

MySQL作为最流行的关系型数据库之一，查询和索引机制是其性能表现的关键所在。我们先从基础概念入手，理解这两个核心组件如何协同工作。

1.1 查询执行流程剖析

当你在MySQL客户端输入一条SELECT语句时，系统会经历以下处理流程：

1. 连接器验证身份并建立连接
2. 查询缓存检查（MySQL 8.0已移除该功能）
3. 分析器进行语法解析
4. 优化器生成执行计划
5. 执行器调用存储引擎接口
6. 返回结果集

其中优化器阶段最为关键，它决定了查询是否使用索引、使用哪个索引以及表的连接顺序。通过EXPLAIN命令可以看到优化器选择的执行计划，这是查询优化的第一手资料。

1.2 索引的本质与数据结构

MySQL索引本质上是一种排好序的数据结构，用于快速定位数据。不同存储引擎实现索引的方式有所不同：

• InnoDB使用B+Tree作为索引结构
• MyISAM也使用B+Tree，但索引文件和数据文件是分离的
• Memory引擎默认使用哈希索引

B+Tree索引的特点是：

• 非叶子节点只存储键值
• 叶子节点存储完整数据记录（聚簇索引）或主键值（二级索引）
• 所有叶子节点通过指针连接形成链表

这种结构使得范围查询、排序查询和等值查询都非常高效，时间复杂度可以控制在O(log n)。

2. 高效查询编写实践

2.1 SELECT语句优化要点

编写高效查询需要遵循一些基本原则：

1. 只查询需要的列：避免SELECT *，只选择必要的字段

sql复制-- 不推荐
SELECT * FROM employees;

-- 推荐
SELECT emp_id, emp_name FROM employees;

2. 合理使用WHERE条件：
   • 将过滤性强的条件放在前面
   • 避免在索引列上使用函数或运算

sql复制-- 不推荐（无法使用create_time索引）
SELECT * FROM orders WHERE DATE(create_time) = '2023-01-01';

-- 推荐
SELECT * FROM orders 
WHERE create_time >= '2023-01-01 00:00:00' 
AND create_time < '2023-01-02 00:00:00';

3. JOIN优化：
   • 小表驱动大表
   • 确保关联字段有索引
   • 避免多表JOIN（建议不超过3个）

2.2 高级查询技巧

1. 窗口函数（MySQL 8.0+）：

sql复制-- 计算部门内薪资排名
SELECT 
    emp_name,
    salary,
    RANK() OVER(PARTITION BY dept_id ORDER BY salary DESC) AS dept_rank
FROM employees;

2. CTE公用表表达式：

sql复制WITH dept_stats AS (
    SELECT 
        dept_id,
        AVG(salary) AS avg_salary
    FROM employees
    GROUP BY dept_id
)
SELECT e.emp_name, e.salary, d.avg_salary
FROM employees e
JOIN dept_stats d ON e.dept_id = d.dept_id
WHERE e.salary > d.avg_salary;

3. JSON处理：

sql复制-- 提取JSON字段
SELECT 
    order_id,
    JSON_EXTRACT(customer_info, '$.name') AS customer_name
FROM orders;

-- 更新JSON字段
UPDATE orders
SET customer_info = JSON_SET(customer_info, '$.phone', '13800138000')
WHERE order_id = 1001;

3. 索引设计与优化策略

3.1 索引类型选择

MySQL支持多种索引类型，各有适用场景：

1. 普通索引：最基本的索引，无特殊约束

sql复制CREATE INDEX idx_name ON employees(emp_name);

2. 唯一索引：保证列值唯一性

sql复制CREATE UNIQUE INDEX idx_email ON employees(email);

3. 主键索引：特殊的唯一索引，不允许NULL值

sql复制ALTER TABLE employees ADD PRIMARY KEY (emp_id);

4. 组合索引：多列组成的索引

sql复制CREATE INDEX idx_dept_salary ON employees(dept_id, salary);

5. 全文索引：用于文本搜索（仅MyISAM和InnoDB支持）

sql复制CREATE FULLTEXT INDEX idx_content ON articles(content);

3.2 索引设计原则

1. 选择性原则：选择区分度高的列建索引。计算区分度：

sql复制SELECT 
    COUNT(DISTINCT status)/COUNT(*) AS selectivity 
FROM orders;

通常选择性大于0.1的列适合建索引。

2. 最左前缀原则：组合索引(a,b,c)可以用于查询条件为a、a,b或a,b,c的情况，但无法用于b,c或c的查询。

3. 覆盖索引：索引包含所有查询字段，避免回表操作。

sql复制-- 使用覆盖索引
CREATE INDEX idx_cover ON employees(dept_id, emp_name);

-- 查询可以完全使用索引
SELECT dept_id, emp_name FROM employees WHERE dept_id = 10;

4. 索引列大小：单个索引列不宜过大，建议不超过767字节（InnoDB限制）。

3.3 索引优化实战

1. 索引合并优化：

sql复制-- MySQL可能使用索引合并
SELECT * FROM employees 
WHERE emp_name = '张三' OR dept_id = 10;

2. 索引跳跃扫描（MySQL 8.0+）：

sql复制-- 即使没有dept_id条件，也可能使用组合索引
CREATE INDEX idx_gender_dept ON employees(gender, dept_id);

SELECT * FROM employees WHERE dept_id = 10;

3. 不可见索引（MySQL 8.0+）：

sql复制-- 测试删除索引的影响
ALTER TABLE employees ALTER INDEX idx_name INVISIBLE;

-- 恢复索引可见
ALTER TABLE employees ALTER INDEX idx_name VISIBLE;

4. 性能监控与问题排查

4.1 慢查询分析

1. 开启慢查询日志：

sql复制-- 查看慢查询配置
SHOW VARIABLES LIKE 'slow_query%';
SHOW VARIABLES LIKE 'long_query_time';

-- 动态设置（重启失效）
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = 1;  -- 秒

-- 永久配置（修改my.cnf）
[mysqld]
slow_query_log = 1
slow_query_log_file = /var/log/mysql/mysql-slow.log
long_query_time = 1
log_queries_not_using_indexes = 1

2. 使用mysqldumpslow工具分析：

bash复制mysqldumpslow -s t -t 10 /var/log/mysql/mysql-slow.log

3. 使用pt-query-digest工具（Percona Toolkit）：

bash复制pt-query-digest /var/log/mysql/mysql-slow.log > slow_report.txt

4.2 EXPLAIN详解

EXPLAIN是分析查询性能最直接的工具，关键列说明：

典型问题诊断：

• 出现"Using filesort"：考虑优化ORDER BY子句
• 出现"Using temporary"：考虑优化GROUP BY或DISTINCT
• type为"ALL"：全表扫描，急需索引优化

4.3 性能模式(Performance Schema)

MySQL 5.5+提供的性能监控工具：

1. 查看最耗资源的SQL：

sql复制SELECT * FROM performance_schema.events_statements_summary_by_digest
ORDER BY SUM_TIMER_WAIT DESC LIMIT 10;

2. 监控索引使用情况：

sql复制SELECT * FROM sys.schema_index_statistics
WHERE table_schema = 'your_db';

3. 查看锁等待：

sql复制SELECT * FROM performance_schema.events_waits_current
WHERE EVENT_NAME LIKE 'wait/io/table/%';

5. 实战案例与避坑指南

5.1 常见索引失效场景

1. 隐式类型转换：

sql复制-- user_id是varchar类型，但传入数字（索引失效）
SELECT * FROM users WHERE user_id = 1001;

-- 正确写法
SELECT * FROM users WHERE user_id = '1001';

2. 使用否定条件：

sql复制-- NOT IN和!=通常导致索引失效
SELECT * FROM orders WHERE status NOT IN (1, 2);

3. 前导模糊查询：

sql复制-- LIKE '%xxx'无法使用索引
SELECT * FROM products WHERE name LIKE '%手机%';

-- 后置模糊查询可以使用索引
SELECT * FROM products WHERE name LIKE '苹果%';

4. OR条件不当使用：

sql复制-- 当dept_id有索引而status没有时，整个查询无法使用索引
SELECT * FROM employees WHERE dept_id = 10 OR status = 1;

-- 优化方案：使用UNION ALL
SELECT * FROM employees WHERE dept_id = 10
UNION ALL
SELECT * FROM employees WHERE status = 1 AND dept_id != 10;

5.2 分页查询优化

常见的大分页性能问题：

sql复制-- 效率低下（偏移量大时）
SELECT * FROM orders ORDER BY create_time DESC LIMIT 100000, 20;

优化方案：

1. 使用覆盖索引+延迟关联：

sql复制SELECT o.* FROM orders o
JOIN (
    SELECT order_id FROM orders
    ORDER BY create_time DESC
    LIMIT 100000, 20
) AS t ON o.order_id = t.order_id;

2. 记录上次查询位置（适用于顺序分页）：

sql复制-- 第一页
SELECT * FROM orders 
ORDER BY create_time DESC 
LIMIT 20;

-- 后续页（假设上一页最后一条记录的create_time是'2023-05-01 12:00:00'）
SELECT * FROM orders 
WHERE create_time < '2023-05-01 12:00:00'
ORDER BY create_time DESC
LIMIT 20;

5.3 大数据量导入优化

当需要导入大量数据时，常规INSERT语句效率极低。优化方案：

1. 使用LOAD DATA INFILE：

sql复制LOAD DATA INFILE '/path/to/data.csv' 
INTO TABLE orders
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n';

2. 批量INSERT：

sql复制-- 单条插入（不推荐）
INSERT INTO orders VALUES(...);
INSERT INTO orders VALUES(...);

-- 批量插入（推荐）
INSERT INTO orders VALUES(...),(...),(...);

3. 临时禁用索引和约束：

sql复制-- 导入前
ALTER TABLE orders DISABLE KEYS;

-- 导入后
ALTER TABLE orders ENABLE KEYS;

4. 调整事务提交频率：

sql复制-- 每1000条提交一次
SET autocommit=0;
-- 导入数据...
COMMIT;
SET autocommit=1;

6. MySQL 8.0新特性应用

6.1 公用表表达式(CTE)

递归查询组织架构：

sql复制WITH RECURSIVE org_tree AS (
    -- 基础查询（顶级部门）
    SELECT id, name, parent_id, 1 AS level
    FROM department
    WHERE parent_id IS NULL
    
    UNION ALL
    
    -- 递归查询（子部门）
    SELECT d.id, d.name, d.parent_id, ot.level + 1
    FROM department d
    JOIN org_tree ot ON d.parent_id = ot.id
)
SELECT * FROM org_tree ORDER BY level, id;

6.2 窗口函数

计算移动平均：

sql复制SELECT 
    order_date,
    amount,
    AVG(amount) OVER(ORDER BY order_date ROWS BETWEEN 2 PRECEDING AND CURRENT ROW) AS moving_avg
FROM daily_orders;

6.3 不可见索引

测试索引必要性：

sql复制-- 创建测试索引
CREATE INDEX idx_test ON orders(express_company);

-- 设置为不可见
ALTER TABLE orders ALTER INDEX idx_test INVISIBLE;

-- 观察查询性能变化
-- 确认无影响后删除
DROP INDEX idx_test ON orders;

6.4 降序索引

优化ORDER BY ... DESC查询：

sql复制-- MySQL 5.7需要额外排序
CREATE INDEX idx_time ON orders(create_time);

-- MySQL 8.0可以创建降序索引
CREATE INDEX idx_time_desc ON orders(create_time DESC);

7. 索引维护与重建策略

7.1 索引碎片整理

检查表碎片情况：

sql复制SELECT 
    table_name,
    engine,
    table_rows,
    data_length,
    index_length,
    ROUND(data_free/(data_length+index_length)*100,2) AS frag_ratio
FROM information_schema.tables
WHERE data_free > 0
ORDER BY frag_ratio DESC;

重建表（消除碎片）：

sql复制-- InnoDB表重建
ALTER TABLE orders ENGINE=InnoDB;

-- OPTIMIZE TABLE（MyISAM效果更好）
OPTIMIZE TABLE orders;

7.2 索引统计信息更新

手动更新统计信息：

sql复制ANALYZE TABLE orders;

设置采样页数（提高统计准确性）：

sql复制-- 全局设置
SET GLOBAL innodb_stats_persistent_sample_pages = 100;

-- 表级设置
ALTER TABLE orders STATS_SAMPLE_PAGES = 100;

7.3 索引监控与调整

通过Performance Schema监控索引使用：

sql复制-- 查看未使用的索引
SELECT * FROM sys.schema_unused_indexes;

-- 查看索引使用频率
SELECT * FROM sys.schema_index_statistics;

定期审查索引策略：

1. 删除重复索引
2. 合并可以组合的单个索引
3. 删除很少使用的索引
4. 添加高频查询缺失的索引

8. 分布式环境下的索引考量

8.1 主从复制中的索引差异

主库和从库可以有不同的索引策略：

sql复制-- 只在从库添加用于报表查询的索引
-- 主库不添加，避免写操作性能影响
CREATE INDEX idx_report ON orders(create_date, region) ALGORITHM=INPLACE, LOCK=NONE;

8.2 分库分表下的索引设计

1. 分片键选择：应该是最常用的查询条件
2. 全局索引表：维护ID到分片位置的映射
3. 二级索引问题：
   • 本地索引：只在分片内有效
   • 全局索引：维护成本高
   • 索引表+倒排表组合方案

8.3 读写分离场景优化

1. 写库保持最小化索引
2. 读库可以添加更多优化索引
3. 使用路由中间件自动区分读写操作

9. 特殊场景索引解决方案

9.1 JSON数据索引

为JSON字段创建索引：

sql复制-- 创建虚拟列
ALTER TABLE products ADD COLUMN price_value DECIMAL(10,2) 
GENERATED ALWAYS AS (JSON_EXTRACT(attributes, '$.price')) STORED;

-- 为虚拟列创建索引
CREATE INDEX idx_price ON products(price_value);

9.2 地理空间索引

地理位置查询优化：

sql复制-- 创建空间索引
CREATE SPATIAL INDEX idx_location ON stores(location);

-- 空间查询
SELECT store_name, ST_Distance(location, POINT(116.404, 39.915)) AS distance
FROM stores
ORDER BY distance
LIMIT 10;

9.3 全文检索优化

使用ngram全文解析器支持中文：

sql复制-- 创建全文索引
CREATE FULLTEXT INDEX idx_content ON articles(content) 
WITH PARSER ngram;

-- 全文搜索
SELECT * FROM articles
WHERE MATCH(content) AGAINST('数据库 优化' IN BOOLEAN MODE);

10. 硬件与配置优化

10.1 内存配置建议

关键参数调整：

ini复制[mysqld]
# InnoDB缓冲池（通常分配70-80%的可用内存）
innodb_buffer_pool_size = 12G

# 每个连接的缓冲大小
sort_buffer_size = 4M
join_buffer_size = 4M
read_buffer_size = 2M
read_rnd_buffer_size = 2M

10.2 磁盘IO优化

1. 使用SSD存储
2. 合理配置RAID级别
3. 分离数据文件和日志文件
4. 调整InnoDB IO参数：

ini复制innodb_io_capacity = 2000
innodb_io_capacity_max = 4000
innodb_flush_neighbors = 0  # SSD建议关闭

10.3 并发连接控制

避免连接数爆炸：

sql复制-- 查看最大连接数
SHOW VARIABLES LIKE 'max_connections';

-- 临时设置
SET GLOBAL max_connections = 500;

-- 持久化配置
[mysqld]
max_connections = 500

使用连接池管理应用连接，避免短连接频繁创建销毁。