DuckDB与MySQL性能对比：千万级数据分析实战

1. 项目背景与测试环境搭建

当数据量突破千万级门槛时，数据库的查询性能直接决定了分析效率。最近在金融数据分析项目中，我遇到了一个典型场景：需要快速统计1415万条股票交易记录的聚合指标。传统方案使用MySQL 8.0，但在处理复杂分析时响应时间经常超过10秒。这促使我尝试了DuckDB这个新兴的分析型数据库，结果令人震惊——相同查询性能提升达10倍以上。

测试环境采用了一台常规分析工作站：

• 硬件配置：24核CPU/64GB内存/机械硬盘（模拟企业常见存储）
• 软件版本：
  • MySQL 8.0.12（默认InnoDB配置）
  • DuckDB 1.5.1（通过Python 3.12.10调用）
• 数据集：包含三个关键表
  • 主表stock_daily（1415万行）：记录每日股票交易数据
  • 维度表stock_base（5362行）：股票基本信息
  • 维度表stock_company（5146行）：上市公司详情

特别说明：机械硬盘的I/O性能会放大存储引擎差异，这正是测试环境选择HDD而非SSD的原因——更能体现极端场景下的性能差距。

2. 核心性能对比实验设计

2.1 基准查询测试方案

设计了五组渐进式复杂查询，覆盖从简单统计到多表关联的典型分析场景：

1. 全表计数：验证基础扫描性能

   sql复制-- MySQL
   SELECT COUNT(*) FROM stock_daily;
   
   -- DuckDB
   SELECT COUNT(*) FROM 'stock_daily.csv';
   

2. 单字段分组统计：测试分组聚合能力

   sql复制-- 按股票代码分组统计交易天数
   SELECT ts_code, COUNT(*) FROM ... GROUP BY ts_code;
   

3. 分组排序查询：加入排序运算压力

   sql复制-- 按交易天数排序
   SELECT ts_code, COUNT(*) AS days FROM ... GROUP BY ts_code ORDER BY days;
   

4. 条件过滤+单表关联：引入维度表关联

   sql复制