Polars与DuckDB单机大数据处理性能对比

1. 引言：单机大数据处理的性能困局

作为一名长期与数据打交道的开发者，我深刻理解在处理GB级别数据时的痛苦。记得去年分析一份800万行的销售数据时，我的Pandas脚本运行了整整15分钟，期间电脑风扇狂转，内存占用飙升到90%以上。这种体验促使我开始寻找更高效的解决方案，最终锁定了Polars和DuckDB这两个新兴工具。

在数据科学领域，我们正面临一个关键转折点：传统工具如Pandas在处理现代数据规模时已显疲态。当数据量超过内存容量时，Pandas要么崩溃，要么变得异常缓慢。这正是Polars和DuckDB的用武之地——它们专为单机环境下的大数据处理而设计，通过列式存储、并行计算等先进技术，将性能提升到新的高度。

本文将基于实际测试，深入比较这两个工具在读取和聚合计算方面的表现。不同于简单的性能对比，我会重点解析它们背后的技术原理，分享在实际项目中的使用心得，并给出具体的选型建议。无论你是数据分析师、数据工程师，还是需要处理大数据的开发者，这篇文章都将为你提供实用的参考。

2. 测试环境与数据准备

2.1 硬件与软件配置

为了确保测试结果具有普遍参考价值，我选择了一台中端配置的笔记本电脑：

• 处理器：Intel Core i7-1165G7 (4核8线程)
• 内存：16GB DDR4
• 存储：512GB NVMe SSD
• 操作系统：Ubuntu 22.04 LTS

软件环境方面：

• Python 3.9.12
• Polars 0.18.5
• DuckDB 0.8.1
• Pandas 1.5.3
• PyArrow 11.0.0

提示：PyArrow是Polars和DuckDB共享的内存格式，安装它能显著提升两者之间的数据交换效率。

2.2 测试数据集生成

我们使用以下代码生成包含1000万行记录的测试数据：

python复制import pandas as pd
import numpy as np

def generate_test_data(rows=10_000_000):
    data = {
        'id': np.arange(rows),
        'category': np.random.choice(['A','B','C','D','E'], size=rows),
        'value_1': np.random.rand(rows) * 100,
        'value_2': np.random.randint(1, 1000, size=rows),
        'timestamp': pd.date_range('2023-01-01', periods=rows, freq='s')
    }
    df = pd.DataFrame(data)
    df.to_csv('large_data.csv', index=False)
    df.to_parquet('large_data.parquet')  # 同时生成Parquet格式

generate_test_data()

生成的数据包含：

• 一个自增ID列
• 分类列（5个类别随机分布）
• 两个数值列（浮点和整数）
• 时间戳列（每秒一个时间点）

文件大小对比：

• CSV格式：约1.2GB
• Parquet格式：约280MB

经验分享：在实际项目中，我强烈建议使用Parquet而非CSV。它不仅体积更小，读取速度也快得多。在我的测试中，读取Parquet比CSV快5-10倍。

3. 性能基准测试

3.1 测试方案设计

我们设计了一个典型的分析场景：

1. 从磁盘读取数据文件
2. 按category列分组
3. 计算value_1的平均值
4. 计算value_2的总和

这个测试涵盖了I/O、分组聚合等常见操作，能较好地反映工具的实际性能。

3.2 Pandas基准测试

作为对比基准，我们先看Pandas的表现：

python复制import pandas as pd
import time

def pandas_test():
    start = time.time()
    
    # 读取CSV
    df = pd.read_csv('large_data.csv')
    
    # 执行聚合