Python与MySQL交互实战：从基础到性能优化

1. Python与MySQL交互基础解析

作为最流行的开源关系型数据库之一，MySQL与Python的搭配堪称数据处理的黄金组合。我在实际项目中发现，Python的mysql-connector和PyMySQL这两个主流驱动库，每年处理的数据操作请求超过千万次。不同于简单的增删改查，真正的生产级应用需要考虑连接池管理、事务隔离级别和批量操作优化等深层问题。

1.1 环境准备要点

安装MySQL驱动时，很多人会直接pip install mysql-connector-python，但其实有更优选择。我强烈推荐使用mysqlclient（Python 3.9+需源码编译）或PyMySQL（纯Python实现）。特别是在Docker环境中，PyMySQL的兼容性表现更好。以下是各驱动性能对比：

提示：Windows用户安装mysqlclient前需确保已安装Visual C++ 14.0以上构建工具

1.2 连接配置的隐藏陷阱

建立数据库连接时，90%的初学者会忽略字符集和时区设置。我曾遇到过一个生产事故：中文数据存入后变成乱码，根源就是连接时未指定charset='utf8mb4'。完整的连接参数应该包含：

python复制import pymysql

conn = pymysql.connect(
    host='127.0.0.1',
    user='dev_user',
    password='S3cr3t!',
    database='app_db',
    charset='utf8mb4',
    cursorclass=pymysql.cursors.DictCursor,
    connect_timeout=5,
    read_timeout=30,
    write_timeout=15
)

特别注意connect_timeout和read_timeout的单位是秒，网络不稳定的云环境建议适当调大。连接池的实现更复杂，推荐使用DBUtils或SQLAlchemy的池化方案。

2. CRUD操作进阶技巧

2.1 防注入的参数化查询

直接拼接SQL字符串是绝对禁忌！我曾审计过一个被SQL注入攻击的系统，攻击者通过' OR 1=1 --这样的简单payload就获取了全部用户数据。正确的做法永远是使用参数化查询：

python复制# 错误示范（绝对禁止）
cursor.execute("SELECT * FROM users WHERE username='" + username + "'")

# 正确做法
cursor.execute("SELECT * FROM users WHERE username=%s", (username,))

对于批量插入，executemany()比循环执行单条INSERT快10倍以上：

python复制data = [('user1', 'pass1'), ('user2', 'pass2')]
cursor.executemany("INSERT INTO users (username, password) VALUES (%s, %s)", data)

2.2 事务处理的正确姿势

没有正确管理事务是数据不一致的常见原因。Python的DB-API 2.0规范要求驱动必须实现事务，但不同驱动的行为有差异：

python复制try:
    conn.begin()  # 显式开始事务
    cursor.execute("UPDATE accounts SET balance=balance-100 WHERE user_id=1")
    cursor.execute("UPDATE accounts SET balance=balance+100 WHERE user_id=2")
    conn.commit()  # 只有这里才真正写入磁盘
except Exception as e:
    conn.rollback()
    raise e
finally:
    cursor.close()

注意：MySQL的默认隔离级别是REPEATABLE-READ，金融系统建议设为SERIALIZABLE

3. 性能优化实战方案

3.1 查询优化器使用技巧

EXPLAIN是分析慢查询的神器。某次优化中，我发现一个200ms的查询只需添加索引就能降到3ms：

python复制cursor.execute("EXPLAIN SELECT * FROM orders WHERE user_id=123")
print(cursor.fetchall())  # 查看type列是否为ref/range

建立复合索引时，字段顺序决定效率。比如INDEX (status, created_at)对WHERE status=1 ORDER BY created_at DESC这类查询最有效。

3.2 批量操作性能对比

测试插入10万条数据的不同方法耗时：

多值INSERT语法示例：

python复制sql = "INSERT INTO logs (content) VALUES (%s), (%s), (%s)"
cursor.execute(sql, ('log1', 'log2', 'log3'))

4. 生产环境问题排查

4.1 连接泄露检测

使用SHOW PROCESSLIST可以查看当前连接，我开发过自动检测脚本：

python复制def check_connections(conn):
    with conn.cursor() as cursor:
        cursor.execute("SHOW STATUS LIKE 'Threads_connected'")
        return cursor.fetchone()['Value']
        
if int(check_connections(conn)) > max_connections * 0.8:
    alert("Connection pool nearing capacity!")

4.2 死锁处理方案

MySQL的InnoDB引擎会发生死锁，错误代码1213。应对策略包括：

1. 实现自动重试机制
2. 减小事务粒度
3. 统一操作顺序

python复制max_retries = 3
for attempt in range(max_retries):
    try:
        do_transaction()
        break
    except pymysql.err.OperationalError as e:
        if e.args[0] == 1213:  # Deadlock code
            continue
        raise

5. ORM与原生SQL的平衡

虽然SQLAlchemy等ORM很方便，但复杂查询还是原生SQL更高效。我的经验法则是：

• 简单CRUD用ORM
• 报表类查询用原生SQL
• 混合使用时注意session管理

一个典型的分页查询优化案例：

python复制# ORM方式（较慢）
users = session.query(User).filter(User.age>30).offset(10).limit(5)

# 原生SQL方式（更快）
cursor.execute("""
    SELECT * FROM users 
    WHERE age > %s 
    ORDER BY id 
    LIMIT %s OFFSET %s
""", (30, 5, 10))

数据库配置文件的加密也值得关注。我常用cryptography库加密密码，运行时解密：

python复制from cryptography.fernet import Fernet

key = Fernet.generate_key()
cipher = Fernet(key)
encrypted_pwd = cipher.encrypt(b"real_password")
# 存储encrypted_pwd到配置

MySQL 8.0+的新特性如窗口函数、CTE表达式，配合Python 3.8+的海象运算符，能让代码更简洁：

python复制if (ver := cursor.execute("SELECT version()").fetchone()[0]) >= "8.0":
    cursor.execute("""
        WITH ranked_users AS (
            SELECT *, ROW_NUMBER() OVER (PARTITION BY dept ORDER BY score DESC) AS rank
            FROM users
        )
        SELECT * FROM ranked_users WHERE rank <= 3
    """)