Python自动化筛选下载GEE遥感影像教程-代码聚汇网

Python自动化筛选下载GEE遥感影像教程

孔良

1. 为什么需要GEE+Python进行影像筛选与下载

Google Earth Engine（GEE）作为全球领先的地理空间分析平台，存储了PB级别的遥感影像数据。但面对海量数据时，手动筛选和下载效率极低——这正是我们需要结合Python实现半自动化的核心原因。

我在处理Sentinel-2影像时深有体会：手动筛选100景影像需要3小时，而用Python脚本只需15分钟。这种效率差异在批量处理时会被放大到难以接受的程度。GEE提供了JavaScript和Python两种API，而Python凭借其丰富的数据科学生态成为更优选择。

半自动化的关键价值在于：

筛选条件可编程化（云量、时间范围、传感器类型等）
下载任务可批量化执行
处理流程可复现和版本控制
能集成到更大的分析工作流中

注意：虽然GEE的在线编辑器也能完成部分工作，但Python本地环境提供了更灵活的后续处理能力，这是本方案的核心优势。

2. 环境准备与GEE认证配置

2.1 Python环境搭建

推荐使用Miniconda创建独立环境：

bash复制conda create -n gee python=3.9
conda activate gee
pip install earthengine-api geemap pandas

我强烈建议使用VS Code作为IDE，其Python扩展提供优秀的代码补全和调试支持。配置时需注意：

选择正确的Python解释器（conda环境中的）
安装Pylance语言服务器提升类型提示
启用Jupyter Notebook支持（方便交互式探索）

2.2 GEE账号申请与认证

访问https://earthengine.google.com/注册账号（需谷歌账号）。教育机构邮箱通常能更快通过审核。注册成功后，在本地运行认证：

python复制import ee
ee.Authenticate()
ee.Initialize()

这个流程会打开浏览器完成OAuth认证。常见问题包括：

防火墙阻挡认证页面弹出
代理设置导致回调失败
账号未完成审批就尝试认证

实测发现：首次认证后生成的凭证默认保存在~/.config/earthengine/，移动这个目录会导致需要重新认证。

3. 影像筛选的核心逻辑实现

3.1 构建时空筛选条件

以获取2023年长三角地区Sentinel-2影像为例：

python复制import geemap
from datetime import datetime

roi = geemap.geojson_to_ee('yangtze_delta.geojson')  # 区域边界
collection = (ee.ImageCollection('COPERNICUS/S2_SR')
    .filterBounds(roi)
    .filterDate('2023-01-01', '2023-12-31')
    .filter(ee.Filter.lt('CLOUDY_PIXEL_PERCENTAGE', 20)))

关键筛选维度包括：

空间范围（filterBounds）
时间窗口（filterDate）
云量阈值（CLOUDY_PIXEL_PERCENTAGE）
影像质量标记（QA60波段）

3.2 元数据筛选与排序

获取符合条件影像的元数据并排序：

python复制# 转换为特征集合
features = collection.map(lambda img: ee.Feature(
    img.geometry(), 
    {
        'time': img.date().format(),
        'cloud': img.get('CLOUDY_PIXEL_PERCENTAGE'),
        'id': img.id()
    }))

# 获取本地并排序
df = geemap.ee_to_pandas(features)
df = df.sort_values(['cloud', 'time'])

这个转换过程有几点需要注意：

GEE的服务器端计算与本地pandas的衔接
日期格式的统一处理（建议转datetime对象）
大区域查询时需分页获取结果

4. 半自动下载的实现方案

4.1 交互式影像预览

使用geemap进行可视化检查：

python复制Map = geemap.Map()
Map.addLayer(collection, {'bands': ['B4', 'B3', 'B2'], 'min': 0, 'max': 3000}, 'Sentinel-2')
Map.addLayerControl()
Map

这个步骤能发现：

云量标注不准确的影像
存在条带缺失的数据
季节变化是否符合预期

4.2 分块下载策略

直接下载大区域高分辨率影像会触发GEE限制，应采用分块策略：

python复制grid = geemap.fishnet(roi, h_interval=1.0, v_interval=1.0)
download_links = []
for feature in grid.getInfo()['features']:
    cell = ee.Feature(feature).geometry()
    img = collection.mosaic().clip(cell)
    link = img.getDownloadURL({
        'scale': 10,
        'crs': 'EPSG:4326',
        'region': cell
    })
    download_links.append(link)

实测建议：

城市区域用0.5°×0.5°分块
山区可增大到1°×1°
每个链接生成后应立即加入下载队列

4.3 断点续传与错误处理

使用requests库实现可靠下载：

python复制import requests
from pathlib import Path

def download_file(url, filename):
    Path('downloads').mkdir(exist_ok=True)
    path = Path('downloads') / filename
    
    try:
        with requests.get(url, stream=True) as r:
            r.raise_for_status()
            with open(path, 'wb') as f:
                for chunk in r.iter_content(chunk_size=8192):
                    f.write(chunk)
        return True
    except Exception as e:
        print(f"Failed to download {url}: {str(e)}")
        if path.exists():
            path.unlink()  # 删除不完整文件
        return False

常见错误处理包括：

403 Forbidden（认证过期）
429 Too Many Requests（速率限制）
500服务器错误（重试机制）

5. 实战中的进阶技巧

5.1 云掩膜优化方案

GEE提供的云标记有时不够准确，可结合QA60波段增强：

python复制def cloud_mask(image):
    qa = image.select('QA60')
    cloud_bitmask = 1 << 10
    cirrus_bitmask = 1 << 11
    mask = qa.bitwiseAnd(cloud_bitmask).eq(0).And(
           qa.bitwiseAnd(cirrus_bitmask).eq(0))
    return image.updateMask(mask)

collection = collection.map(cloud_mask)

5.2 多平台数据融合

结合Landsat8数据补充空缺时段：

python复制landsat = (ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
    .filterBounds(roi)
    .filterDate('2023-01-01', '2023-12-31')
    .map(lambda img: img.resample('bicubic').reproject(
         crs='EPSG:4326', scale=30)))

# 波段匹配和归一化处理
def match_s2_bands(img):
    return img.select(
        ['SR_B4', 'SR_B3', 'SR_B2'],
        ['B4', 'B3', 'B2']).divide(10000)

5.3 自动化调度方案

使用Apache Airflow构建定期任务：

python复制from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import timedelta

def gee_download():
    # 集成前述代码
    pass

default_args = {
    'retries': 3,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG('gee_download', 
          schedule_interval='@monthly',
          default_args=default_args)

task = PythonOperator(
    task_id='download_s2_data',
    python_callable=gee_download,
    dag=dag)

6. 性能优化与问题排查

6.1 内存管理技巧

处理大区域时容易内存溢出，解决方案包括：

使用ee.batch.Task异步导出到Google Drive
分批次处理时间范围（按月而非按年）
降低中间变量的分辨率（.reproject()）

6.2 常见错误代码

错误码	原因	解决方案
`EEException: Image.clipToBoundsAndScale`	影像超出范围	检查ROI坐标系
`EEException: Too many pixels`	请求数据量过大	减小区域或降低分辨率
`EEException: User memory limit exceeded`	计算复杂度太高	简化处理链

6.3 日志记录策略

建议采用结构化日志：

python复制import logging
from logging.handlers import RotatingFileHandler

logger = logging.getLogger('gee_download')
handler = RotatingFileHandler('download.log', maxBytes=1e6, backupCount=3)
formatter = logging.Formatter(
    '%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)

# 在关键步骤添加记录
logger.info(f"Starting download for {len(df)} images")

我在实际项目中总结的经验是：GEE的Python API虽然强大，但需要特别注意服务器端计算与本地操作的界限。最稳妥的做法是先用小区域测试完整流程，再逐步放大处理范围。另外，定期清理本地缓存（特别是/tmp/下的临时文件）能避免很多奇怪的问题。