SQL查询CSV和Parquet文件的4种Python工具对比

1. 为什么需要用SQL查询CSV和Parquet文件

在日常数据处理工作中，我们经常会遇到需要分析CSV和Parquet格式文件的情况。这两种格式各有特点：CSV作为最通用的表格数据交换格式，几乎被所有数据处理工具支持；而Parquet作为列式存储格式，在大数据场景下具有显著的性能优势。

传统做法是使用pandas等工具将文件读入内存后再进行处理，但当遇到以下场景时就会显得力不从心：

• 文件体积超过内存容量
• 只需要查询部分列而非全部数据
• 需要执行复杂的多表关联查询
• 希望复用已有的SQL技能而不想学习新的API

这时，能够直接使用SQL查询这些文件就成为了一个优雅的解决方案。目前Python生态中有多个工具包可以实现这一功能，它们各有特点，适用于不同场景。

2. 四种主流工具包横向对比

2.1 DuckDB：轻量级嵌入式分析引擎

DuckDB是一个进程内的OLAP数据库管理系统，专为数据分析工作负载设计。它的特点是：

• 无需安装服务，导入Python包即可使用
• 支持完整的SQL语法
• 对Parquet文件有原生优化
• 查询性能优异

安装方法：

bash复制pip install duckdb

基本使用方法：

python复制import duckdb

# 查询CSV文件
result = duckdb.sql("SELECT * FROM 'data.csv' WHERE column1 > 100").df()

# 查询Parquet文件
result = duckdb.sql("SELECT column1, AVG(column2) FROM 'data.parquet' GROUP BY column1").df()

性能特点：

• 对中等规模文件(GB级别)查询响应在秒级
• 支持谓词下推等优化手段
• 内存占用相对较低

2.2 Pandas + SQLite：经典组合新用法

虽然pandas本身不支持SQL查询，但结合Python内置的sqlite3模块，可以构建一个临时数据库环境：

python复制import pandas as pd
import sqlite3

# 创建内存数据库
conn = sqlite3.connect(":memory:")

# 读取CSV到pandas
df = pd.read_csv("data.csv")

# 存入SQLite临时表
df.to_sql("temp_table", conn, index=False)

# 执行SQL查询
result = pd.read_sql("SELECT * FROM temp_table WHERE col1 > 100", conn)

这种方法的优势：

• 无需额外安装（使用Python标准库）
• 适合已经熟悉pandas的工作流
• 可以处理各种pandas支持的格式

局限性：

• 需要先将整个文件读入内存
• 不适合超大文件
• 性能不如专用工具

2.3 PySpark：大数据处理利器

对于真正的大数据场景(GB以上)，PySpark是不二之选：

python复制from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("CSVQuery").getOrCreate()

# 读取CSV
df = spark.read.csv("data.csv", header=True, inferSchema=True)

# 创建临时视图
df.createOrReplaceTempView("data")

# 执行SQL查询
result = spark.sql("SELECT * FROM data WHERE col1 > 100")

PySpark的核心优势：

• 分布式计算能力
• 原生支持Parquet格式
• 完善的查询优化器
• 可以处理TB级数据

使用门槛：

• 需要搭建Spark环境
• 学习曲线较陡
• 对小文件反而效率不高

2.4 SQLAlchemy + Pandas：ORM风格的解决方案

对于习惯使用ORM的开发人员，可以这样组合：

python复制from sqlalchemy import create_engine
import pandas as pd

# 创建内存数据库引擎
engine = create_engine("sqlite:///:memory:")

# 读取CSV
df = pd.read_csv("data.csv")

# 存入数据库
df.to_sql("data", engine, index=False)

# 执行SQL查询
result = pd.read_sql("SELECT * FROM data WHERE col1 > 100", engine)

这种方法适合：

• 已经使用SQLAlchemy的项目
• 需要复杂事务支持的场景
• 喜欢ORM风格编程的团队

3. 性能实测对比

我们在相同硬件环境下(16GB内存，4核CPU)，使用1GB的CSV和Parquet文件进行了查询性能测试：

关键发现：

1. DuckDB在各类场景下表现均衡且优异
2. 对Parquet文件，专用工具(DuckDB/PySpark)优势明显
3. 传统方法(Pandas)在简单场景仍可使用

4. 实际应用中的经验技巧

4.1 数据类型处理

CSV文件导入时经常遇到数据类型推断错误的问题，特别是：

• 数字被识别为字符串
• 日期格式混乱
• 空值表示不统一

解决方法：

python复制# DuckDB中明确指定类型
duckdb.sql("""
SELECT 
  column1::INTEGER as id,
  column2::DATE as date,
  column3::FLOAT as value
FROM 'data.csv'
""")

4.2 大文件分块处理

当文件超过内存容量时，可以采用分块查询策略：

python复制# 使用DuckDB的LIMIT/OFFSET
chunk_size = 100000
for i in range(0, total_rows, chunk_size):
    chunk = duckdb.sql(f"""
    SELECT * FROM 'big_data.csv' 
    LIMIT {chunk_size} OFFSET {i}
    """).df()
    process(chunk)

4.3 查询优化建议

1. 对Parquet文件只选择需要的列
2. 尽早应用WHERE条件过滤
3. 对常用查询创建视图
4. 合理使用EXPLAIN分析查询计划

5. 工具选型决策树

根据项目需求选择最合适的工具：

1. 需要处理超大文件(10GB+) → PySpark
2. 主要处理Parquet格式 → DuckDB
3. 简单临时分析 → Pandas+SQLite
4. 已有SQLAlchemy集成 → SQLAlchemy方案
5. 需要最佳性能 → DuckDB
6. 需要分布式计算 → PySpark

6. 常见问题排查

问题1：查询速度突然变慢

• 检查是否扫描了全部列
• 确认WHERE条件是否有效
• 查看系统内存使用情况

问题2：日期格式解析错误

• 明确指定日期格式
• 先以字符串读取再转换
• 检查源文件中的异常值

问题3：内存不足错误

• 使用分块查询
• 选择更高效的工具(DuckDB)
• 考虑转换为Parquet格式

问题4：编码问题

• 明确指定文件编码
• 尝试UTF-8/GBK等常见编码
• 检查文件头部的特殊字符

7. 进阶技巧

7.1 多文件联合查询

DuckDB支持直接查询多个文件：

python复制# 合并查询多个CSV
result = duckdb.sql("""
SELECT * FROM 'data_*.csv'
WHERE date > '2023-01-01'
""")

7.2 创建持久化视图

对于频繁使用的查询：

python复制# 创建持久化视图
duckdb.sql("CREATE VIEW daily_stats AS SELECT date, COUNT(*) FROM logs GROUP BY date")

# 后续直接使用
result = duckdb.sql("SELECT * FROM daily_stats WHERE date = '2023-06-01'")

7.3 自定义函数扩展

在DuckDB中添加Python函数：

python复制# 注册自定义函数
def my_analysis(x):
    return x * 2
    
duckdb.create_function("my_func", my_analysis)

# 在SQL中使用
result = duckdb.sql("SELECT my_func(column1) FROM data")

8. 各工具适用场景总结

经过全面对比测试，我的实际使用建议是：

对于大多数Python数据分析场景，DuckDB提供了最佳平衡：

• 安装简单，API直观
• 性能优异，功能全面
• 同时支持CSV和Parquet
• 内存管理高效

PySpark适合真正的"大数据"场景，但配置复杂度较高。Pandas+SQLite组合则适合快速原型开发和小型数据集。

最后提醒一点：无论选择哪种工具，都建议对大型文件先进行抽样测试，确认查询性能和结果符合预期后再进行全量处理。