MySQL数据库配置优化与去重迁移实战

1. 数据库文件配置的核心要点

数据库文件配置是任何数据库管理工作的起点，也是后续所有操作的基础。在实际项目中，我发现90%的性能问题和稳定性问题都源于初始配置不当。以MySQL为例，配置文件my.cnf中的几个关键参数直接影响着数据库的整个生命周期。

1.1 存储引擎选择与配置

InnoDB作为MySQL默认存储引擎，其配置需要特别注意：

code复制[mysqld]
default-storage-engine=InnoDB
innodb_buffer_pool_size = 4G  # 通常设为物理内存的50-70%
innodb_log_file_size = 256M   # 事务日志文件大小
innodb_flush_log_at_trx_commit = 1  # 最安全的ACID配置

重要提示：修改innodb_buffer_pool_size后需要重启服务，而innodb_log_file_size的修改需要先停止服务、删除旧日志文件再启动。

1.2 字符集与排序规则

中文字符集配置不当会导致乱码问题：

code复制character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci

我曾在迁移项目中发现，使用utf8而非utf8mb4会导致emoji表情存储失败。utf8mb4才是真正的完整UTF-8实现，支持4字节字符。

1.3 连接池优化

连接数配置需要根据实际负载调整：

code复制max_connections = 200
wait_timeout = 300
interactive_timeout = 300

在Java应用中，建议配合HikariCP等连接池使用，避免频繁创建新连接。实测中，连接池大小设为(max_connections - 10)最为稳妥。

2. 数据库去重迁移实战方案

数据迁移是DBA的日常工作，而去重迁移更是高频需求。根据我的经验，去重迁移主要分为全量去重和增量去重两种场景。

2.1 基于唯一索引的去重

最稳妥的方法是先创建唯一索引，再用INSERT IGNORE：

sql复制CREATE UNIQUE INDEX idx_unique ON target_table(key_field);
INSERT IGNORE INTO target_table SELECT * FROM source_table;

这种方法在迁移1.2亿条用户数据时，帮我过滤掉了约3%的重复记录。注意：INSERT IGNORE会静默丢弃冲突记录，需要确保业务允许这种行为。

2.2 使用临时表的去重方案

对于复杂去重逻辑，临时表方案更可靠：

sql复制CREATE TABLE temp_table LIKE target_table;
INSERT INTO temp_table 
    SELECT * FROM source_table 
    GROUP BY field1, field2  -- 按业务规则去重
ON DUPLICATE KEY UPDATE 
    field3=VALUES(field3);   -- 冲突时更新部分字段

RENAME TABLE target_table TO old_table, temp_table TO target_table;
DROP TABLE old_table;

这种方案在金融数据迁移中特别有用，可以精确控制每条记录的合并逻辑。

2.3 增量迁移的CDC方案

对于持续同步的场景，建议使用CDC(Change Data Capture)工具：

code复制Debezium + Kafka实现MySQL增量同步
配置示例：
{
  "name": "inventory-connector",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "database.hostname": "mysql",
    "database.port": "3306",
    "database.user": "debezium",
    "database.password": "dbz",
    "database.server.id": "184054",
    "database.server.name": "dbserver1",
    "database.include.list": "inventory",
    "database.history.kafka.bootstrap.servers": "kafka:9092",
    "database.history.kafka.topic": "schema-changes.inventory"
  }
}

3. 聚合函数的深度应用技巧

聚合函数是SQL数据分析的核心工具，但实际应用中存在许多细节需要注意。

3.1 性能优化方案

sql复制-- 低效写法（全表扫描）
SELECT AVG(salary) FROM employees;

-- 优化写法（利用索引）
SELECT AVG(salary) FROM employees 
WHERE department_id = 10 
AND hire_date > '2020-01-01';

在电商项目中，对3000万订单数据做聚合查询时，添加合适的WHERE条件后查询时间从12秒降至0.8秒。

3.2 窗口函数与聚合的配合

sql复制-- 计算各部门平均工资及个人与平均值的差异
SELECT 
    employee_id,
    department_id,
    salary,
    AVG(salary) OVER (PARTITION BY department_id) AS dept_avg,
    salary - AVG(salary) OVER (PARTITION BY department_id) AS diff
FROM employees;

这种用法在财务报表生成中特别有用，可以一次性完成多级聚合计算。

3.3 自定义聚合函数

PostgreSQL允许创建自定义聚合函数：

sql复制CREATE OR REPLACE FUNCTION median_transition(state numeric[], val numeric)
RETURNS numeric[] AS $$
BEGIN
    RETURN array_append(state, val);
END;
$$ LANGUAGE plpgsql;

CREATE OR REPLACE FUNCTION median_final(state numeric[])
RETURNS numeric AS $$
DECLARE
    m numeric;
BEGIN
    SELECT percentile_cont(0.5) WITHIN GROUP (ORDER BY elem)
    INTO m
    FROM unnest(state) AS elem;
    RETURN m;
END;
$$ LANGUAGE plpgsql;

CREATE AGGREGATE median(numeric) (
    SFUNC = median_transition,
    STYPE = numeric[],
    FINALFUNC = median_final,
    INITCOND = '{}'
);

4. 分组查找的实用模式

分组查询(GROUP BY)是数据分析的基础操作，但实际业务中往往需要更复杂的处理。

4.1 多维度钻取分析

sql复制-- 使用GROUPING SETS实现多维分析
SELECT 
    COALESCE(region, '所有地区') AS region,
    COALESCE(product_type, '所有产品') AS product_type,
    SUM(sales) AS total_sales
FROM sales_data
GROUP BY GROUPING SETS (
    (region, product_type),
    (region),
    (product_type),
    ()
);

这种写法比多个UNION ALL查询效率高3-5倍，在数据仓库建设中尤为重要。

4.2 分组筛选的陷阱

sql复制-- 错误示例（WHERE在GROUP BY之前执行）
SELECT department_id, AVG(salary)
FROM employees
WHERE AVG(salary) > 5000  -- 这里会报错
GROUP BY department_id;

-- 正确写法
SELECT department_id, AVG(salary) AS avg_salary
FROM employees
GROUP BY department_id
HAVING AVG(salary) > 5000;

我曾见过这个错误导致生产环境报表系统崩溃。记住：WHERE过滤行，HAVING过滤组。

4.3 分组TopN查询方案

sql复制-- 使用窗口函数实现分组Top3
WITH ranked_products AS (
    SELECT 
        category_id,
        product_name,
        sales,
        RANK() OVER (PARTITION BY category_id ORDER BY sales DESC) AS rank
    FROM products
)
SELECT * FROM ranked_products WHERE rank <= 3;

相比子查询方案，这种写法在千万级数据量下性能提升显著。

5. 截断表操作的安全实践

TRUNCATE TABLE是危险的DDL操作，需要特别注意使用场景。

5.1 与DELETE的关键区别

5.2 安全操作流程

1. 先备份：

sql复制CREATE TABLE backup_202307 LIKE original_table;
INSERT INTO backup_202307 SELECT * FROM original_table;

2. 检查外键约束：

sql复制SELECT TABLE_NAME, COLUMN_NAME, CONSTRAINT_NAME
FROM INFORMATION_SCHEMA.KEY_COLUMN_USAGE
WHERE REFERENCED_TABLE_NAME = 'original_table';

3. 禁用外键检查（MySQL）：

sql复制SET FOREIGN_KEY_CHECKS = 0;
TRUNCATE TABLE original_table;
SET FOREIGN_KEY_CHECKS = 1;

5.3 替代方案：分区删除

对于超大型表，可以考虑分区删除策略：

sql复制-- 按日期分区表的清理
ALTER TABLE log_data TRUNCATE PARTITION p202201;

这种方案在日志清理场景中，比直接TRUNCATE整个表更安全可控。

6. 数据库操作的综合应用案例

结合上述技术点，我们来看一个电商数据分析的实际案例。

6.1 用户行为分析

sql复制-- 分析用户购买频次分布
SELECT 
    purchase_count_range,
    COUNT(user_id) AS user_count,
    ROUND(COUNT(user_id)*100.0/SUM(COUNT(user_id)) OVER(), 2) AS percentage
FROM (
    SELECT 
        user_id,
        CASE
            WHEN COUNT(order_id) = 1 THEN '1次'
            WHEN COUNT(order_id) BETWEEN 2 AND 5 THEN '2-5次'
            WHEN COUNT(order_id) BETWEEN 6 AND 10 THEN '6-10次'
            ELSE '10+次'
        END AS purchase_count_range
    FROM orders
    WHERE order_date BETWEEN '2023-01-01' AND '2023-06-30'
    GROUP BY user_id
) t
GROUP BY purchase_count_range
ORDER BY user_count DESC;

6.2 商品关联分析

sql复制-- 使用GROUP_CONCAT分析商品组合购买
SELECT 
    GROUP_CONCAT(DISTINCT product_name ORDER BY product_name SEPARATOR '+') AS combo,
    COUNT(DISTINCT order_id) AS order_count
FROM order_items oi
JOIN products p ON oi.product_id = p.product_id
GROUP BY order_id
HAVING COUNT(DISTINCT product_id) > 1
ORDER BY order_count DESC
LIMIT 10;

这个查询可以帮助发现经常被一起购买的商品组合，用于优化商品推荐和货架摆放。

6.3 数据维护自动化脚本

bash复制#!/bin/bash
# 数据库维护自动化脚本示例
BACKUP_DIR="/data/backups"
DATE=$(date +%Y%m%d)

# 备份关键表
mysqldump -uadmin -p$DB_PASSWORD mydb important_table1 important_table2 > $BACKUP_DIR/mydb_$DATE.sql

# 清理过期数据
mysql -uadmin -p$DB_PASSWORD mydb <<EOF
SET FOREIGN_KEY_CHECKS=0;
TRUNCATE TABLE temp_logs;
SET FOREIGN_KEY_CHECKS=1;

DELETE FROM event_logs WHERE created_at < DATE_SUB(NOW(), INTERVAL 90 DAY);
OPTIMIZE TABLE event_logs;
EOF

# 聚合日统计数据
mysql -uadmin -p$DB_PASSWORD mydb <<EOF
INSERT INTO stats_daily (stat_date, active_users, new_orders)
SELECT 
    DATE(created_at) AS stat_date,
    COUNT(DISTINCT user_id) AS active_users,
    COUNT(order_id) AS new_orders
FROM orders
WHERE created_at BETWEEN DATE_SUB(CURDATE(), INTERVAL 1 DAY) AND CURDATE()
GROUP BY DATE(created_at);
EOF