Python操作SQL数据库：从基础连接到高级优化

1. Python读取SQL数据库的完整指南

作为数据工程师最常用的技能组合之一，Python与SQL的配合使用几乎贯穿了我十年的数据处理工作。今天我将分享从基础连接到高级优化的全流程实践，包含那些官方文档不会告诉你的实战经验。

2. 核心工具选型与配置

2.1 连接器选择矩阵

对于不同数据库类型，Python生态提供了多种连接方案：

提示：生产环境推荐使用各数据库官方维护的驱动，如MySQL Connector/Python虽然性能略低但稳定性更好

2.2 连接池配置要点

高频查询场景需要配置连接池避免重复建立连接：

python复制from sqlalchemy import create_engine
from sqlalchemy.pool import QueuePool

engine = create_engine(
    'mysql+pymysql://user:pass@host/db',
    poolclass=QueuePool,
    pool_size=5,
    max_overflow=10,
    pool_timeout=30
)

关键参数说明：

• pool_size：常驻连接数（根据服务器CPU核心数设置）
• max_overflow：临时扩容连接数（建议不超过pool_size的2倍）
• pool_timeout：获取连接超时时间（秒）

3. 查询执行与结果处理

3.1 参数化查询实践

错误示范（SQL注入风险）：

python复制cursor.execute(f"SELECT * FROM users WHERE name = '{user_input}'")

正确做法：

python复制# 使用问号占位符（SQLite风格）
cursor.execute("SELECT * FROM users WHERE name = ?", (user_input,))

# 使用命名参数（更易读）
cursor.execute(
    "SELECT * FROM users WHERE name = %(name)s",
    {'name': user_input}
)

3.2 结果集处理技巧

获取数据的三种方式对比：

python复制# 方式1：逐行获取（内存友好）
cursor.execute("SELECT * FROM large_table")
while row := cursor.fetchone():
    process(row)

# 方式2：分批获取（平衡方案）
cursor.execute("SELECT * FROM large_table")
for chunk in iter(lambda: cursor.fetchmany(1000), []):
    bulk_process(chunk)

# 方式3：全量获取（小数据集适用）
cursor.execute("SELECT * FROM small_table")
all_data = cursor.fetchall()

实测数据：处理100万行数据时，分批获取比全量获取内存占用减少80%

4. 高级优化方案

4.1 服务端游标配置

对于超大数据集（>1000万行），需要使用服务端游标：

python复制import psycopg2
from psycopg2.extras import DictCursor

conn = psycopg2.connect(
    "dbname=test",
    cursor_factory=DictCursor  # 返回字典形式结果
)
cursor = conn.cursor(name='server_side_cursor')  # 创建服务端游标
cursor.execute("SELECT * FROM huge_table")

while True:
    rows = cursor.fetchmany(5000)
    if not rows:
        break
    process_batch(rows)

优势：

• 结果集保留在数据库服务端
• 客户端按需分批获取
• 避免内存溢出(OOM)风险

4.2 异步IO实现

使用aiomysql进行异步查询示例：

python复制import asyncio
import aiomysql

async def fetch_data():
    pool = await aiomysql.create_pool(
        host='localhost',
        user='user',
        password='pass',
        db='db'
    )
    
    async with pool.acquire() as conn:
        async with conn.cursor() as cursor:
            await cursor.execute("SELECT * FROM async_table")
            result = await cursor.fetchall()
    
    pool.close()
    await pool.wait_closed()
    return result

loop = asyncio.get_event_loop()
data = loop.run_until_complete(fetch_data())

性能对比（查询100次简单SELECT）：

• 同步方式：12.3秒
• 异步方式：1.7秒

5. 常见问题排查手册

5.1 连接问题速查表

5.2 性能优化检查清单

1. 索引检查：

   python复制# MySQL查看索引使用情况
   cursor.execute("EXPLAIN SELECT * FROM table WHERE key=value")
   print(cursor.fetchall())
   

2. 网络延迟测试：

   python复制import time
   start = time.time()
   cursor.execute("SELECT 1")
   print(f"Roundtrip: {time.time()-start:.3f}s")
   

3. 结果集大小评估：

   python复制cursor.execute("SELECT COUNT(*) FROM large_table")
   print(f"Total rows: {cursor.fetchone()[0]:,}")
   

6. 实战经验分享

6.1 数据类型转换陷阱

数据库与Python类型映射常见问题：

python复制# MySQL的DECIMAL会转为Decimal对象
cursor.execute("SELECT price FROM products")
row = cursor.fetchone()
print(type(row[0]))  # <class 'decimal.Decimal'>

# 解决方案1：查询时转换
cursor.execute("SELECT CAST(price AS FLOAT) FROM products")

# 解决方案2：连接时配置
conn = pymysql.connect(..., cursorclass=pymysql.cursors.DictCursor)
conn.converter[pymysql.FIELD_TYPE.DECIMAL] = float

6.2 连接泄露检测

使用连接池时添加监控逻辑：

python复制import weakref
import atexit

connections = weakref.WeakSet()

def check_leaks():
    if connections:
        print(f"⚠️ 未关闭连接: {len(connections)}")

atexit.register(check_leaks)

class TrackedConnection:
    def __init__(self, conn):
        self._conn = conn
        connections.add(self)
    
    def close(self):
        connections.discard(self)
        self._conn.close()

# 使用示例
conn = TrackedConnection(pymysql.connect(...))

这个方案在我的生产环境检测出过多次未关闭的连接，特别适合长期运行的后台服务。