告别手动点击！USGS径流数据批量下载进阶：用Pandas自动清洗与合并多站点TXT文件

水文研究者和环境工程师常常需要处理来自USGS（美国地质调查局）的大规模径流数据。当你已经通过脚本批量下载了成百上千个站点的TXT文件后，真正的挑战才刚刚开始——如何高效地将这些分散的、格式不统一的数据整合成可供分析的整洁数据集？

我曾在一个流域生态评估项目中，需要处理来自327个监测站的15年日径流数据。最初尝试手动处理几个文件后，我意识到必须找到自动化解决方案。本文将分享如何用Python的Pandas库，将USGS的RDB格式文件转化为结构化的DataFrame，并实现多站点数据的智能合并。

1. 理解USGS RDB文件结构

USGS提供的径流数据通常采用RDB（Tab-Separated）格式。这种格式虽然机器可读，但包含大量元数据行，需要特殊处理才能提取有效数据。让我们先解剖一个典型文件：

code复制# ---------------------------------- WARNING ----------------------------------------
# Some comments and metadata here...
# 
# Data for the following 1 site(s) are contained in this file
# -----------------------------------------------------------------------------------
# 
agency_cd	site_no	datetime	01_00060	01_00060_cd
5s	15s	20d	14n	10s
USGS	01118300	2007-10-01	121	P
USGS	01118300	2007-10-02	119	P

关键特征：

• 以#开头的注释行（需要跳过）
• 表头行（包含列名）
• 数据类型描述行（以5s、15s等形式出现）
• 实际数据行（以USGS开头）

常见陷阱：

• 不同时期下载的文件可能有细微格式差异
• 某些站点可能缺少部分日期的记录
• 流量值列名可能随参数变化（如01_00060表示日径流）

2. 单文件解析：精准提取日期和流量值

使用Pandas的read_csv函数配合适当参数，可以高效提取所需数据列：

python复制import pandas as pd

def parse_usgs_rdb(file_path):
    """解析单个USGS RDB文件，返回包含日期和流量值的DataFrame"""
    # 查找数据开始行
    with open(file_path, 'r') as f:
        for i, line in enumerate(f):
            if line.startswith('agency_cd'):
                skiprows = i
                break
    
    # 读取数据，跳过注释行
    df = pd.read_csv(
        file_path,
        sep='\t',
        comment='#',
        skiprows=skiprows,
        dtype={'site_no': str}  # 确保站点ID保持字符串格式
    )
    
    # 清理数据：选择所需列并重命名
    cols_mapping = {
        'datetime': 'date',
        '01_00060': 'discharge_cfs',
        '01_00060_cd': 'flag'
    }
    df = df[list(cols_mapping.keys())].rename(columns=cols_mapping)
    
    # 转换日期格式和数据类型
    df['date'] = pd.to_datetime(df['date'])
    df['discharge_cfs'] = pd.to_numeric(df['discharge_cfs'], errors='coerce')
    
    # 添加站点ID（从文件名获取）
    df['site_id'] = file_path.stem
    
    return df[['site_id', 'date', 'discharge_cfs', 'flag']]

提示：实际应用中应考虑添加异常处理，应对文件损坏或格式不符的情况

3. 批量处理：自动化多文件清洗流程

当面对数百个文件时，我们需要建立健壮的批处理管道。以下代码展示了如何利用Python的pathlib和concurrent.futures实现高效并行处理：

python复制from pathlib import Path
from concurrent.futures import ThreadPoolExecutor
import warnings

def process_directory(input_dir, output_dir, max_workers=4):
    """批量处理目录中的所有USGS TXT文件"""
    input_path = Path(input_dir)
    output_path = Path(output_dir)
    output_path.mkdir(exist_ok=True)
    
    txt_files = list(input_path.glob('*.txt'))
    print(f"发现 {len(txt_files)} 个待处理文件")
    
    # 使用线程池加速IO密集型任务
    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        futures = []
        for file in txt_files:
            futures.append(executor.submit(process_single_file, file, output_path))
        
        for future in concurrent.futures.as_completed(futures):
            try:
                result = future.result()
            except Exception as e:
                warnings.warn(f"文件处理失败: {e}")

def process_single_file(input_file, output_dir):
    """处理单个文件并保存为Parquet格式"""
    df = parse_usgs_rdb(input_file)
    output_file = output_dir / f"{input_file.stem}.parquet"
    df.to_parquet(output_file)
    return output_file

性能优化技巧：

• 对小文件（<10MB）使用ThreadPoolExecutor更高效
• 输出为Parquet格式比CSV节省50%以上空间
• 添加chunksize参数可处理超大文件

4. 多站点数据合并与质量控制

合并后的数据集应该便于时空分析和可视化。以下是创建主数据集的完整流程：

python复制def create_master_dataset(parquet_dir):
    """创建包含所有站点的统一数据集"""
    parquet_files = list(Path(parquet_dir).glob('*.parquet'))
    
    # 分块读取避免内存不足
    chunks = []
    for file in parquet_files:
        df = pd.read_parquet(file)
        chunks.append(df)
    
    master_df = pd.concat(chunks, ignore_index=True)
    
    # 转换为更高效的数据类型
    master_df['site_id'] = master_df['site_id'].astype('category')
    master_df['flag'] = master_df['flag'].astype('category')
    
    # 创建日期-站点ID的多级索引
    master_df = master_df.set_index(['date', 'site_id']).sort_index()
    
    # 质量控制：识别异常值
    master_df = qc_filter(master_df)
    
    return master_df

def qc_filter(df):
    """数据质量控制"""
    # 移除无效值
    df = df[df['discharge_cfs'].notna()]
    
    # 根据标志位过滤（'P'表示实测值，'e'表示估算值）
    df = df[df['flag'].isin(['P', 'e'])]
    
    # 移除极端异常值（假设流量>100,000 CFS为错误）
    df = df[df['discharge_cfs'] <= 100000]
    
    return df

合并后的数据结构示例：

5. 高级应用：时空分析与可视化准备

整洁的数据集为后续分析打开了大门。以下是两个实用场景：

场景1：计算流域平均径流量

python复制def watershed_daily_mean(master_df, site_list):
    """计算指定站点列表的日平均径流量"""
    return (master_df
            .loc[master_df.index.get_level_values('site_id').isin(site_list)]
            .groupby(level='date')['discharge_cfs']
            .mean()
            .rename('mean_discharge_cfs'))

场景2：创建站点元数据关联表

python复制def add_watershed_metadata(master_df, metadata_csv):
    """添加流域面积等元数据"""
    meta = pd.read_csv(metadata_csv, 
                      dtype={'site_id': str, 'drainage_area_sqmi': float})
    
    return (master_df
            .reset_index()
            .merge(meta, on='site_id')
            .set_index(['date', 'site_id']))

注意：实际应用中应考虑将最终数据集保存为Feather或Parquet格式，这些二进制格式比CSV读写更快且保持数据类型

6. 实战经验分享

在处理USGS径流数据时，有几个容易踩的坑值得特别注意：

1. 时区问题：USGS数据使用当地时区而非UTC，在跨时区分析时需要统一处理
2. 缺失值标记：某些站点使用-9999表示缺失值，需在读取时转换
3. 单位一致性：确认流量单位是立方英尺/秒（CFS）还是其他单位
4. 内存管理：当站点超过500个时，考虑使用Dask替代Pandas

我曾遇到一个棘手问题：某个站点的数据文件中混入了错误的列分隔符，导致解析失败。解决方案是添加自定义解析器：

python复制def robust_rdb_parser(file_path):
    """更健壮的RDB解析器，处理格式异常"""
    try:
        return parse_usgs_rdb(file_path)
    except pd.errors.ParserError:
        # 尝试手动修复格式问题
        with open(file_path, 'r') as f:
            lines = [line.replace('|', '\t') for line in f 
                    if not line.startswith('#') and line.strip()]
        return pd.read_csv(StringIO(''.join(lines)), sep='\t')

最后，对于超大规模数据集（如全国所有站点），建议采用数据库存储而非单文件。以下是使用SQLite的示例：

python复制import sqlite3

def to_sqlite(master_df, db_path, table_name):
    """将主数据集存入SQLite数据库"""
    with sqlite3.connect(db_path) as conn:
        master_df.to_sql(table_name, conn, if_exists='replace', chunksize=10000)