Python连接MySQL实战：从基础操作到性能优化

1. 为什么Python连接MySQL是必备技能？

在数据驱动的时代，数据库操作已成为开发者日常工作的核心部分。MySQL作为最流行的开源关系型数据库之一，与Python的结合堪称黄金搭档。我见过太多初学者在连接阶段就踩坑——字符集不对齐导致乱码、未正确关闭连接引发内存泄漏、SQL注入漏洞等。这些问题往往源于对基础流程的理解偏差。

Python的DB-API规范为各种数据库提供了统一接口，而MySQL-connector和PyMySQL则是实际项目中最常用的两个驱动库。选择哪个？MySQL-connector是MySQL官方出品，兼容性最好；PyMySQL则是纯Python实现，部署更简单。我在生产环境中更倾向后者，特别是在容器化部署时能减少依赖问题。

2. 环境准备与驱动选择

2.1 基础环境配置

假设你已安装Python 3.6+（建议使用3.8+以获得最佳类型提示支持），接下来需要：

bash复制# 安装PyMySQL（推荐）
pip install pymysql cryptography

# 或安装MySQL官方驱动
pip install mysql-connector-python

注意：若使用MySQL 8.0+，必须安装cryptography包以支持新的默认认证插件caching_sha2_password

2.2 数据库端准备

在MySQL服务器上创建测试用户和数据库：

sql复制CREATE DATABASE python_demo CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
CREATE USER 'pyuser'@'%' IDENTIFIED BY 'SecurePass123!';
GRANT ALL PRIVILEGES ON python_demo.* TO 'pyuser'@'%';
FLUSH PRIVILEGES;

这里特别强调使用utf8mb4字符集——它能完整支持emoji等4字节UTF-8字符，避免未来出现存储异常。我曾在一个社交项目中发现用户昵称中的emoji全部变成问号，根源就是使用了老旧的utf8字符集。

3. 连接建立与连接池管理

3.1 基础连接示例

python复制import pymysql
from contextlib import contextmanager

@contextmanager
def get_connection():
    conn = pymysql.connect(
        host='localhost',
        user='pyuser',
        password='SecurePass123!',
        database='python_demo',
        charset='utf8mb4',
        cursorclass=pymysql.cursors.DictCursor  # 返回字典形式结果
    )
    try:
        yield conn
    finally:
        conn.close()

# 使用示例
with get_connection() as conn:
    with conn.cursor() as cursor:
        cursor.execute("SELECT VERSION()")
        print("MySQL版本:", cursor.fetchone())

这个上下文管理器模式确保连接一定会被关闭，即使发生异常。我见过太多因为忘记关闭连接导致数据库连接数耗尽的生产事故。

3.2 高级连接池实现

对于Web应用等高频访问场景，应该使用连接池：

python复制from dbutils.pooled_db import PooledDB

pool = PooledDB(
    creator=pymysql,
    maxconnections=20,
    mincached=5,
    host='localhost',
    user='pyuser',
    password='SecurePass123!',
    database='python_demo',
    charset='utf8mb4'
)

def query_with_pool(sql, args=None):
    with pool.connection() as conn:
        with conn.cursor() as cursor:
            cursor.execute(sql, args or ())
            return cursor.fetchall()

关键参数说明：

• maxconnections：最大连接数（根据数据库服务器配置调整）
• mincached：初始空闲连接数
• blocking=True（默认）：当连接池耗尽时等待而非报错

4. CRUD操作实战与防注入技巧

4.1 安全创建表结构

python复制create_table_sql = """
CREATE TABLE IF NOT EXISTS `users` (
    `id` INT AUTO_INCREMENT PRIMARY KEY,
    `username` VARCHAR(50) NOT NULL UNIQUE,
    `email` VARCHAR(100) NOT NULL,
    `created_at` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    INDEX idx_email (`email`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
"""

with get_connection() as conn:
    conn.cursor().execute(create_table_sql)

这里有几个设计要点：

1. 使用InnoDB引擎支持事务
2. 为email字段添加索引加速查询
3. 设置username为UNIQUE防止重复
4. 显式指定CHARSET避免继承数据库默认设置

4.2 参数化查询防止SQL注入

错误示范（危险！）：

python复制# 绝对不要这样拼接SQL！
username = input("输入用户名")
sql = f"SELECT * FROM users WHERE username='{username}'"

正确做法：

python复制sql = "SELECT * FROM users WHERE username=%s"
cursor.execute(sql, (username,))  # 自动处理转义

我曾经审计过一个被黑的系统，攻击者就是通过构造恶意用户名admin'--实现了越权登录。参数化查询是防范SQL注入的第一道防线。

4.3 事务处理示例

python复制def transfer_money(from_id, to_id, amount):
    with get_connection() as conn:
        try:
            with conn.cursor() as cursor:
                # 检查余额
                cursor.execute("SELECT balance FROM accounts WHERE id=%s FOR UPDATE", (from_id,))
                balance = cursor.fetchone()['balance']
                if balance < amount:
                    raise ValueError("余额不足")
                
                # 扣款
                cursor.execute(
                    "UPDATE accounts SET balance=balance-%s WHERE id=%s",
                    (amount, from_id)
                )
                
                # 存款
                cursor.execute(
                    "UPDATE accounts SET balance=balance+%s WHERE id=%s",
                    (amount, to_id)
                )
            
            conn.commit()  # 提交事务
        except Exception as e:
            conn.rollback()  # 回滚事务
            raise

关键点：

1. FOR UPDATE锁定记录防止并发修改
2. 在try-except中明确处理提交和回滚
3. 所有更新操作在同一个连接中完成

5. 高级特性与性能优化

5.1 批量插入优化

低效做法：

python复制for item in data:
    cursor.execute("INSERT INTO table VALUES (%s, %s)", (item[0], item[1]))

高效方案：

python复制# 方案1：executemany
cursor.executemany(
    "INSERT INTO table VALUES (%s, %s)",
    [(item[0], item[1]) for item in data]
)

# 方案2：批量VALUES语法
values = ",".join(["(%s,%s)"] * len(data))
flat_data = [x for item in data for x in item]
cursor.execute(f"INSERT INTO table VALUES {values}", flat_data)

实测对比：插入1万条记录时，方案2比循环插入快50倍以上。我在一个数据迁移项目中，通过这种优化将执行时间从2小时缩短到2分钟。

5.2 流式读取大数据集

当查询结果很大时，使用SScursor（服务器端游标）避免内存溢出：

python复制with get_connection() as conn:
    with conn.cursor(pymysql.cursors.SSCursor) as cursor:
        cursor.execute("SELECT * FROM huge_table")
        while True:
            row = cursor.fetchone()
            if not row:
                break
            process(row)  # 逐行处理

5.3 ORM与原生SQL的平衡

虽然SQLAlchemy等ORM很方便，但复杂查询往往需要原生SQL。我的经验法则是：

• 简单CRUD用ORM
• 报表类复杂查询用原生SQL
• 使用ORM的execute()执行原生SQL时，仍要参数化查询

python复制# SQLAlchemy混合用法示例
from sqlalchemy import text

result = db.session.execute(
    text("SELECT * FROM users WHERE created_at > :date"),
    {"date": "2023-01-01"}
)

6. 常见问题排查手册

6.1 连接问题诊断

错误：pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on 'localhost'")

排查步骤：

1. 检查MySQL服务是否运行：sudo systemctl status mysql
2. 验证网络连通性：telnet 服务器IP 3306
3. 检查用户权限：SELECT host, user FROM mysql.user
4. 确认防火墙设置：sudo ufw status

6.2 字符集乱码问题

症状：中文显示为问号或乱码

解决方案：

1. 连接参数添加charset='utf8mb4'
2. 确认表字段字符集：SHOW CREATE TABLE your_table
3. Python文件开头添加编码声明：# -*- coding: utf-8 -*-

6.3 连接超时处理

MySQL默认的wait_timeout是8小时，可以通过以下方式处理：

python复制# 方案1：连接时设置自动重连参数
conn = pymysql.connect(
    ...其他参数...
    autocommit=True,
    connect_timeout=10,
    read_timeout=30,
    write_timeout=30
)

# 方案2：使用ping()检测连接
def safe_query(sql):
    conn = get_connection()
    try:
        conn.ping(reconnect=True)  # 自动重连
        return conn.execute(sql)
    finally:
        conn.close()

7. 生产环境最佳实践

7.1 配置管理

永远不要将数据库凭证硬编码在代码中！推荐做法：

python复制import os
from dotenv import load_dotenv

load_dotenv()

config = {
    'host': os.getenv('DB_HOST'),
    'user': os.getenv('DB_USER'),
    'password': os.getenv('DB_PASS'),
    'database': os.getenv('DB_NAME')
}

7.2 监控与日志

为SQL操作添加日志：

python复制import logging

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger('sql')

def logged_execute(cursor, sql, args=None):
    logger.info("Executing: %s with %s", sql, args)
    start = time.time()
    cursor.execute(sql, args or ())
    logger.info("Done in %.2fms", (time.time()-start)*1000)

7.3 备份策略

自动化备份脚本示例：

python复制import subprocess
from datetime import datetime

def backup_mysql():
    timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
    cmd = f"mysqldump -u {config['user']} -p{config['password']} {config['database']} > backup_{timestamp}.sql"
    subprocess.run(cmd, shell=True, check=True)

记得将备份文件加密并传输到异地存储。我曾遇到服务器硬盘损坏但备份也在同一磁盘的情况，教训深刻。