Python subprocess模块详解：安全执行外部命令的完整指南

1. Python执行命令的典型场景与需求

在自动化脚本开发、数据处理流水线构建以及系统管理任务中，我们经常需要让Python程序与操作系统进行交互。执行外部命令并捕获其输出是最基础也最实用的功能之一。想象一下这些场景：你需要定期运行系统诊断工具收集服务器状态，或者批量处理大量数据文件前先验证它们的完整性，又或者在持续集成流程中调用编译工具链——这些都需要Python能够可靠地执行命令并记录结果。

Python的标准库提供了多种命令执行方案，每种方案都有其特定的适用场景和优缺点。subprocess模块作为现代Python中的首选工具，相比古老的os.system()提供了更精细的控制能力。它允许我们不仅执行命令，还能管理输入输出流、设置超时、获取返回码，以及处理子进程的生命周期。

重要提示：直接执行用户提供的字符串作为命令存在严重的安全风险，特别是当字符串中包含用户可控参数时。永远优先使用参数列表形式传递命令和参数。

2. subprocess模块的核心用法解析

2.1 基础命令执行与输出捕获

subprocess.run()是Python 3.5+推荐的基础接口，它封装了常见的子进程操作场景。以下是一个完整的示例，展示如何执行命令并将输出同时打印到控制台和文件：

python复制import subprocess
from pathlib import Path

def execute_and_save(command, output_file):
    output_path = Path(output_file)
    output_path.parent.mkdir(parents=True, exist_ok=True)
    
    result = subprocess.run(
        command,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE,
        text=True,
        check=False
    )
    
    with output_path.open('w', encoding='utf-8') as f:
        if result.stdout:
            print(result.stdout, file=f)
        if result.stderr:
            print("\n[ERROR OUTPUT]\n", file=f)
            print(result.stderr, file=f)
    
    print(f"命令执行完成，返回码: {result.returncode}")
    print(f"输出已保存至: {output_path.absolute()}")
    return result

# 示例：获取当前目录文件列表
execute_and_save(['ls', '-l'], 'output/list.txt')

这段代码的几个关键点值得注意：

1. 使用Path对象处理文件路径，确保跨平台兼容性
2. 显式设置text=True获取字符串而非字节输出
3. 同时捕获stdout和stderr流，但分开存储
4. 自动创建不存在的输出目录

2.2 实时输出处理与大型日志

当处理长时间运行的命令时，我们可能需要实时查看进度并将输出持续写入文件。这时可以使用subprocess.Popen：

python复制def execute_streaming(command, output_file):
    with open(output_file, 'w', encoding='utf-8') as f:
        process = subprocess.Popen(
            command,
            stdout=subprocess.PIPE,
            stderr=subprocess.PIPE,
            text=True,
            bufsize=1  # 行缓冲
        )
        
        while True:
            output = process.stdout.readline()
            if output == '' and process.poll() is not None:
                break
            if output:
                print(output.strip())
                f.write(output)
        
        stderr = process.stderr.read()
        if stderr:
            print(f"\nErrors:\n{stderr}")
            f.write(f"\nERRORS:\n{stderr}")
    
    return process.returncode

这种流式处理方式特别适合：

• 监控长时间运行的编译/测试过程
• 处理可能产生大量输出的命令
• 需要实时反馈的交互式场景

3. 高级场景与异常处理

3.1 超时控制与进程管理

生产环境中，我们必须考虑命令执行可能挂起的情况。subprocess.run()的timeout参数可以自动终止超时进程：

python复制try:
    result = subprocess.run(
        ['ping', 'example.com'],
        timeout=10,
        stdout=subprocess.PIPE,
        text=True
    )
except subprocess.TimeoutExpired:
    print("命令执行超时，已强制终止")
    # 可以在这里保存部分输出

对于更精细的控制，可以结合Popen和线程实现自定义超时逻辑：

python复制import threading

def run_with_timeout(command, timeout, output_file):
    process = subprocess.Popen(command, stdout=subprocess.PIPE, text=True)
    timer = threading.Timer(timeout, process.kill)
    
    try:
        timer.start()
        stdout, _ = process.communicate()
        
        with open(output_file, 'w') as f:
            f.write(stdout)
        
        return process.returncode
    finally:
        timer.cancel()