Python文件操作三大模块：os、pathlib与shutil详解

1. 项目概述

在日常开发中，文件操作是最基础也最频繁的需求之一。无论是数据分析师整理数据集，还是后端工程师处理日志文件，亦或是自动化测试脚本管理测试用例，都离不开对文件和目录的操作。Python作为一门"自带电池"的语言，提供了多个标准库来满足不同场景下的文件操作需求。

我见过太多开发者因为不熟悉这些工具而写出冗长低效的代码。比如用字符串拼接处理路径导致跨平台兼容性问题，或者用低效的循环实现文件复制而不知有现成的高级API。本文将系统梳理Python三大文件操作利器：os、pathlib和shutil，帮你避开这些常见陷阱。

2. 核心模块对比与选型

2.1 os模块：传统但强大

os模块是Python最早提供的文件操作系统接口，它的特点是：

• 函数式风格，每个操作对应一个独立函数
• 提供底层操作系统原语的直接映射
• 需要手动处理路径字符串

典型用例：

python复制import os

# 创建目录（递归创建需配合os.makedirs）
os.mkdir('new_dir')

# 遍历目录
for filename in os.listdir('.'):
    print(filename)

# 路径拼接（注意跨平台问题）
file_path = os.path.join('parent', 'child', 'file.txt')

注意：os.path虽然常与os模块配合使用，但实际上是一个独立模块，专门处理路径相关操作。

2.2 pathlib：面向对象的现代化方案

Python 3.4引入的pathlib模块代表了更现代的路径操作方式：

• 面向对象设计，路径作为Path对象
• 链式方法调用，代码更简洁
• 自动处理不同操作系统的路径差异

典型用例：

python复制from pathlib import Path

# 创建Path对象
p = Path('data/output')

# 递归创建目录
p.mkdir(parents=True, exist_ok=True)

# 链式操作
(p / 'subdir' / 'file.txt').write_text('Hello')

2.3 shutil：高级文件操作

shutil模块专注于高级文件操作：

• 提供文件复制、移动、删除等高级抽象
• 支持压缩包操作
• 处理文件权限等元数据

典型用例：

python复制import shutil

# 递归复制目录
shutil.copytree('src', 'dst')

# 移动文件（跨设备自动复制+删除）
shutil.move('old.txt', 'new_location/new.txt')

3. 关键操作实战指南

3.1 路径处理最佳实践

路径处理是文件操作的基础，常见陷阱包括：

• 硬编码路径分隔符（Windows用\，Linux用/）
• 相对路径与绝对路径混淆
• 路径存在性检查的竞态条件

解决方案：

python复制# 安全路径拼接（pathlib版）
config_path = Path('config') / 'app' / 'settings.ini'

# 安全路径拼接（os版）
config_path = os.path.join('config', 'app', 'settings.ini')

# 路径解析
p = Path('/data/reports/2023/january.pdf')
print(p.parent)  # /data/reports/2023
print(p.name)    # january.pdf
print(p.suffix)  # .pdf

3.2 文件读写操作

不同规模文件的读写策略：

• 小文件：直接读写
• 大文件：流式处理
• 二进制文件：注意编码问题

代码示例：

python复制# 小文件快速读写（pathlib）
content = Path('data.txt').read_text()
Path('output.txt').write_text(content.upper())

# 大文件流式处理
with open('large.log') as f:
    for line in f:  # 逐行读取，内存友好
        process(line)

# 二进制文件操作
with open('image.jpg', 'rb') as f:
    data = f.read(1024)  # 每次读取1KB

3.3 目录遍历与文件查找

高效遍历目录的几种方式：

• os.walk：经典的三元组生成器
• pathlib.rglob：强大的递归glob
• 结合条件过滤

示例对比：

python复制# 使用os.walk
for root, dirs, files in os.walk('project'):
    for file in files:
        if file.endswith('.py'):
            print(os.path.join(root, file))

# 使用pathlib
for py_file in Path('project').rglob('*.py'):
    print(py_file)

4. 高级应用场景

4.1 临时文件与目录管理

安全使用临时文件的正确姿势：

python复制import tempfile

# 自动清理的临时目录
with tempfile.TemporaryDirectory() as tmpdir:
    temp_file = Path(tmpdir) / 'temp.data'
    temp_file.write_text('...')
    # 使用临时文件...
# 退出with块后自动删除

# 命名的临时文件
with tempfile.NamedTemporaryFile(suffix='.tmp') as tmp:
    tmp.write(b'...')
    tmp.flush()
    # 使用临时文件...

4.2 文件系统监控

使用watchdog库实现文件变化监听：

python复制from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

class MyHandler(FileSystemEventHandler):
    def on_modified(self, event):
        print(f'File changed: {event.src_path}')

observer = Observer()
observer.schedule(MyHandler(), path='.', recursive=True)
observer.start()

4.3 跨平台兼容性处理

确保代码在不同操作系统上正常工作的技巧：

• 永远不要硬编码路径分隔符
• 注意系统路径大小写敏感性差异
• 处理特殊系统路径（如Windows的设备文件）

python复制# 正确处理用户主目录
home = Path.home()  # 比os.path.expanduser更直观

# 处理程序所在目录
script_dir = Path(__file__).parent

# 检查路径有效性
try:
    Path('/dev/null').resolve(strict=True)
except (RuntimeError, FileNotFoundError):
    print('无效路径')

5. 性能优化与常见陷阱

5.1 批量操作优化

处理大量文件时的性能技巧：

python复制# 低效方式：逐个文件处理
for file in Path('data').iterdir():
    process_file(file)

# 高效方式：多线程处理
from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor() as executor:
    executor.map(process_file, Path('data').iterdir())

5.2 常见错误处理

文件操作中必须处理的异常：

• FileNotFoundError：文件不存在
• PermissionError：权限不足
• IsADirectoryError/NotADirectoryError：类型错误
• OSError：其他底层系统错误

健壮的代码示例：

python复制try:
    with open('important.data', 'r+') as f:
        data = f.read()
except FileNotFoundError:
    print("文件不存在，将创建新文件")
    with open('important.data', 'w') as f:
        f.write(default_data)
except PermissionError:
    print("权限不足，请检查文件权限")
except OSError as e:
    print(f"系统错误: {e.strerror}")

5.3 资源清理保证

确保资源释放的正确方式：

python复制# 不安全的方式
f = open('data.txt')
content = f.read()
# 如果中间发生异常，文件不会关闭

# 安全的方式（传统）
try:
    f = open('data.txt')
    content = f.read()
finally:
    f.close()

# 更优雅的方式（上下文管理器）
with open('data.txt') as f:
    content = f.read()

6. 实际案例：日志文件处理器

综合应用所学知识，实现一个日志处理工具：

python复制from pathlib import Path
import shutil
import gzip
from datetime import datetime

def process_logs(source_dir, backup_dir, max_size_mb=100):
    """处理日志文件：压缩旧日志，清理过大文件"""
    source = Path(source_dir)
    backup = Path(backup_dir)
    
    # 确保目录存在
    backup.mkdir(parents=True, exist_ok=True)
    
    total_size = 0
    for log_file in source.glob('*.log'):
        file_size = log_file.stat().st_size / (1024 * 1024)  # MB
        
        if file_size > max_size_mb:
            # 压缩大文件
            timestamp = datetime.now().strftime('%Y%m%d_%H%M%S')
            compressed = backup / f"{log_file.stem}_{timestamp}.gz"
            
            with open(log_file, 'rb') as f_in:
                with gzip.open(compressed, 'wb') as f_out:
                    shutil.copyfileobj(f_in, f_out)
            
            log_file.unlink()  # 删除原文件
            print(f"Compressed and removed: {log_file}")
        else:
            total_size += file_size
    
    print(f"Total logs size: {total_size:.2f} MB")

这个案例展示了如何综合运用：

• Path对象进行路径操作
• 文件状态检查（stat）
• 二进制文件操作（gzip）
• shutil的高级文件复制
• 异常处理（未展示但实际需要）

7. 工具函数集锦

最后分享几个经过实战检验的工具函数：

python复制def find_latest_file(directory, pattern='*'):
    """查找目录中最近修改的文件"""
    files = Path(directory).glob(pattern)
    return max(files, key=lambda f: f.stat().st_mtime, default=None)

def safe_remove(path):
    """安全删除文件或目录"""
    p = Path(path)
    if p.is_file():
        p.unlink()
    elif p.is_dir():
        shutil.rmtree(p)

def copy_with_metadata(src, dst):
    """复制文件并保留元数据"""
    shutil.copy2(src, dst)
    # 额外处理自定义元数据...

这些函数封装了常见需求，处理了各种边界情况，可以直接集成到你的项目中。