Python自动化开发实战：10个高效脚本与优化技巧

1. 为什么Python是自动化开发的利器？

Python在自动化领域有着天然优势，这主要得益于其简洁的语法和丰富的生态。我最早接触Python自动化是在2015年，当时需要处理几百个Excel报表的合并工作。传统手动操作需要3天时间，而用Python脚本20分钟就搞定了，这种效率提升让我彻底成为Python自动化的拥趸。

Python的自动化优势主要体现在三个方面：首先，语法简单直观，像os、shutil这样的标准库让文件操作变得极其简单；其次，第三方库生态完善，无论是操作Office文档的openpyxl、处理PDF的PyPDF2，还是控制浏览器的selenium，应有尽有；最后，跨平台特性让脚本可以在Windows、Linux、Mac上无缝运行。

提示：新手常犯的错误是直接写复杂脚本。建议从简单任务开始，比如先实现文件重命名，再逐步增加复杂度。

2. 10个实战脚本详解

2.1 文件批量处理脚本

这个脚本可以批量重命名、移动或删除文件。核心是os和glob模块的组合使用：

python复制import os
import glob

def batch_rename(folder_path, prefix):
    for i, filename in enumerate(glob.glob(os.path.join(folder_path, '*.*'))):
        new_name = f"{prefix}_{i}{os.path.splitext(filename)[1]}"
        os.rename(filename, os.path.join(folder_path, new_name))

我在实际使用中发现几个常见问题：一是路径中含有特殊字符导致报错，可以用raw string（如r'C:\path'）解决；二是权限问题，特别是在Windows系统上，需要以管理员身份运行脚本。

2.2 Excel报表自动化

使用openpyxl处理Excel时，这个模板能节省大量时间：

python复制from openpyxl import load_workbook

def process_excel(file_path):
    wb = load_workbook(file_path)
    ws = wb.active
    for row in ws.iter_rows(min_row=2, values_only=True):
        # 处理每一行数据
        processed_data = [x.upper() if isinstance(x, str) else x for x in row]
        print(processed_data)
    wb.save(file_path.replace('.xlsx', '_processed.xlsx'))

实测中遇到的最大坑是内存泄漏。处理大文件时，务必使用read_only模式加载，用完后显式关闭工作簿。

2.3 网页数据抓取脚本

结合requests和BeautifulSoup的经典组合：

python复制import requests
from bs4 import BeautifulSoup

def scrape_website(url):
    headers = {'User-Agent': 'Mozilla/5.0'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    data = []
    for item in soup.select('.product-item'):
        name = item.select_one('.name').text.strip()
        price = item.select_one('.price').text.strip()
        data.append((name, price))
    return data

这个脚本有三个关键点：一是设置合理的请求头避免被封；二是使用CSS选择器比XPath更易读；三是添加适当的延迟（如time.sleep(1)）避免触发反爬。

2.4 定时任务调度器

用schedule库实现简单的定时任务：

python复制import schedule
import time

def job():
    print("定时任务执行中...")

schedule.every(10).minutes.do(job)

while True:
    schedule.run_pending()
    time.sleep(1)

在生产环境中，我建议改用APScheduler，它支持持久化存储和更复杂的调度策略。Windows系统还可以配合任务计划程序使用。

2.5 图片批量处理脚本

使用Pillow库实现图片的批量调整：

python复制from PIL import Image
import os

def resize_images(input_folder, output_folder, size=(800, 600)):
    os.makedirs(output_folder, exist_ok=True)
    for filename in os.listdir(input_folder):
        if filename.lower().endswith(('.png', '.jpg', '.jpeg')):
            img = Image.open(os.path.join(input_folder, filename))
            img.thumbnail(size)
            img.save(os.path.join(output_folder, filename))

处理大量图片时，内存管理很关键。我发现使用Image.open()后显式调用img.close()，或者用with语句可以避免内存泄漏。

2.6 数据库自动化备份

结合subprocess调用系统命令实现MySQL备份：

python复制import subprocess
import datetime

def backup_mysql(host, user, password, database, output_dir):
    timestamp = datetime.datetime.now().strftime('%Y%m%d_%H%M%S')
    filename = f"{database}_{timestamp}.sql"
    cmd = f"mysqldump -h {host} -u {user} -p{password} {database} > {output_dir}/{filename}"
    subprocess.run(cmd, shell=True, check=True)

安全提示：不要在脚本中硬编码密码，应该使用环境变量或配置文件。我通常用python-dotenv管理敏感信息。

2.7 日志文件分析器

用pandas分析服务器日志的典型模式：

python复制import pandas as pd
import re

def analyze_logs(log_file):
    pattern = r'(?P<ip>\d+\.\d+\.\d+\.\d+) - - \[.*\] "(?P<method>\w+) (?P<url>.*?)"'
    logs = []
    with open(log_file) as f:
        for line in f:
            match = re.search(pattern, line)
            if match:
                logs.append(match.groupdict())
    
    df = pd.DataFrame(logs)
    return df['ip'].value_counts().head(10)  # 返回访问量最高的10个IP

正则表达式是这类脚本的核心，建议先在RegEx101测试好再写入代码。处理大日志文件时，考虑使用chunksize参数分块读取。

2.8 邮件自动发送系统

用smtplib实现带附件的邮件发送：

python复制import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from email.mime.base import MIMEBase
from email import encoders

def send_email(sender, receiver, subject, body, attachment_path=None):
    msg = MIMEMultipart()
    msg['From'] = sender
    msg['To'] = receiver
    msg['Subject'] = subject
    msg.attach(MIMEText(body, 'plain'))
    
    if attachment_path:
        with open(attachment_path, 'rb') as attachment:
            part = MIMEBase('application', 'octet-stream')
            part.set_payload(attachment.read())
        encoders.encode_base64(part)
        part.add_header('Content-Disposition', f'attachment; filename="{attachment_path}"')
        msg.attach(part)
    
    with smtplib.SMTP('smtp.example.com', 587) as server:
        server.starttls()
        server.login(sender, 'password')
        server.send_message(msg)

实际使用中，Gmail等邮箱需要开启"允许不够安全的应用"选项，或者使用OAuth2认证。我推荐使用yagmail库简化流程。

2.9 系统监控告警脚本

用psutil监控系统资源：

python复制import psutil
import smtplib
from datetime import datetime

def check_system():
    cpu_percent = psutil.cpu_percent(interval=1)
    mem = psutil.virtual_memory()
    disk = psutil.disk_usage('/')
    
    alert = False
    message = f"系统状态报告 {datetime.now()}\n"
    message += f"CPU使用率: {cpu_percent}%\n"
    message += f"内存使用: {mem.percent}%\n"
    message += f"磁盘使用: {disk.percent}%\n"
    
    if cpu_percent > 90 or mem.percent > 90 or disk.percent > 90:
        alert = True
        # 这里可以接入邮件或短信告警
        print("警告：系统资源使用过高！")
    
    return message, alert

这个脚本可以设置为定时任务，长期运行需要注意日志轮转，避免日志文件过大。我通常会添加logging模块记录历史数据。

2.10 自动化测试脚本

用unittest和selenium实现Web自动化测试：

python复制import unittest
from selenium import webdriver
from selenium.webdriver.common.by import By

class TestWebsite(unittest.TestCase):
    @classmethod
    def setUpClass(cls):
        cls.driver = webdriver.Chrome()
        cls.driver.implicitly_wait(10)
    
    def test_homepage(self):
        self.driver.get("https://example.com")
        self.assertIn("Example", self.driver.title)
        # 更多测试断言...
    
    @classmethod
    def tearDownClass(cls):
        cls.driver.quit()

if __name__ == "__main__":
    unittest.main()

Selenium脚本最常遇到元素定位问题。我的经验是优先使用ID定位，其次是CSS选择器。对于动态加载的内容，务必设置合理的等待时间。

3. 脚本优化与维护技巧

3.1 参数化与配置文件

硬编码是脚本维护的噩梦。我强烈建议使用configparser或yaml管理配置：

python复制import yaml

with open('config.yaml') as f:
    config = yaml.safe_load(f)

# 使用配置
db_config = config['database']

3.2 日志记录

logging模块比print更专业：

python复制import logging

logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    filename='app.log'
)

logger = logging.getLogger(__name__)
logger.info("脚本开始运行")

3.3 异常处理

健壮的脚本必须处理各种异常：

python复制try:
    # 可能出错的代码
except FileNotFoundError as e:
    logger.error(f"文件未找到: {e}")
    # 恢复操作或通知
except Exception as e:
    logger.exception("未预期的错误")
    raise

3.4 性能优化

对于CPU密集型任务，考虑使用multiprocessing：

python复制from multiprocessing import Pool

def process_item(item):
    # 处理单个项目
    return result

with Pool(4) as p:  # 4个进程
    results = p.map(process_item, items)

4. 将AI融入自动化流程

4.1 使用AI处理非结构化数据

结合OpenAI API处理PDF/图片中的文字：

python复制import openai

def extract_info_from_text(text):
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[
            {"role": "system", "content": "你是一个专业的信息提取助手"},
            {"role": "user", "content": f"从以下文本提取关键信息：{text}"}
        ]
    )
    return response.choices[0].message.content

4.2 智能决策自动化

用AI模型做简单分类决策：

python复制def classify_email(text):
    prompt = """判断以下邮件属于哪类（咨询/投诉/其他）：
    邮件内容：{}
    """.format(text)
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

4.3 自然语言生成报告

将结构化数据转化为自然语言报告：

python复制def generate_report(data):
    template = """根据以下数据生成分析报告：
    数据：{}
    """.format(data)
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": template}]
    )
    return response.choices[0].message.content

5. 实战中的经验教训

经过多年实践，我总结了几个关键经验：首先，自动化不是万能的，需要评估ROI——如果一个任务每月只做一次，且手动操作只需5分钟，那么写自动化脚本可能不值得；其次，文档和注释至关重要，三个月后你自己都可能看不懂当初写的代码；最后，错误处理要全面，特别是涉及文件操作和网络请求时。

版本控制是另一个常被忽视的方面。即使是一个人开发，也应该用Git管理脚本。我遇到过因脚本修改导致历史数据无法处理的惨痛教训，现在坚持为每个重要脚本创建独立仓库。

测试环节也不可或缺。我建议至少为核心功能编写单元测试，特别是那些处理关键业务的脚本。使用pytest框架可以大幅简化测试工作。