Iceberg数据湖Rest Catalog对接OSS存储实践-代码聚汇网

Iceberg数据湖Rest Catalog对接OSS存储实践

Amy青梅

1. 环境准备与背景说明

最近在搭建Iceberg数据湖测试环境时，遇到了一个典型的技术选型问题：如何在国内环境下使用Rest Catalog对接OSS对象存储。由于测试环境位于国内，无法直接使用AWS Glue、Snowflake等海外Catalog服务，最终选择了Polaris和Nessie两种Rest Catalog方案进行对比测试。

测试环境的核心组件包括：

Catalog服务：Polaris 1.2.0 / Nessie 0.77.0
存储层：阿里云OSS（通过S3协议访问）
查询引擎：Doris 2.1.0 / Trino 432

2. Polaris对接OSS的坑与解决方案

2.1 x-amz-content-sha256报错分析

在Polaris 1.2.0版本中，直接配置OSS作为存储后端时，会遇到如下报错：

code复制aws-chunked encoding is not supported with the specified x-amz-content-sha256 value. 
(Service: S3, Status Code: 400, Request ID: 693C4D496D7461373771398C)

这个问题的本质原因是：阿里云OSS对S3协议的实现不完全兼容，不支持AWS SDK默认发送的x-amz-content-sha256头。而Polaris底层使用的是AWS SDK v2，默认会添加这个请求头。

2.2 解决方案：stsUnavailable参数

Polaris 1.2.0新增了一个关键参数stsUnavailable，专门用于适配非标准S3协议的对象存储。这个参数需要配置在storageConfigInfo中：

json复制"storageConfigInfo": {
  "storageType": "S3",
  "endpoint": "http://oss-cn-beijing-internal.aliyuncs.com",
  "stsUnavailable": true
}

实际使用中有两个注意事项：

参数名在release notes中曾拼写错误为stUnavailable（少了一个s），需要确认使用正确拼写
该参数必须显式设置为true，默认值false会导致仍然尝试使用STS认证

2.3 完整Docker Compose配置

以下是经过验证可用的Polaris+OSS完整配置：

yaml复制services:
  polaris:
    image: apache/polaris:latest
    environment:
      AWS_REGION: cn-beijing
      AWS_ACCESS_KEY_ID: your_access_key
      AWS_SECRET_ACCESS_KEY: your_secret_key
      AWS_ENDPOINT: http://oss-cn-beijing-internal.aliyuncs.com
      POLARIS_BOOTSTRAP_CREDENTIALS: POLARIS,root,s3cr3t
      polaris.realm-context.realms: POLARIS

3. Nessie的配置方案

3.1 Nessie的优势

相比Polaris，Nessie原生提供了对非标准S3协议的支持，通过以下参数可以禁用问题头：

yaml复制nessie.catalog.service.s3.default-options.request-signing-enabled=false
nessie.catalog.service.s3.default-options.chunked-encoding-enabled=false

3.2 Nessie完整配置示例

yaml复制services:
  nessie:
    image: ghcr.io/projectnessie/nessie
    environment:
      - nessie.catalog.warehouses.warehouse.location=s3://mybucket/my-lakehouse/
      - nessie.catalog.service.s3.default-options.endpoint=http://oss-cn-beijing-internal.aliyuncs.com
      - nessie.catalog.service.s3.default-options.access-key=your_access_key
      - nessie.catalog.service.s3.default-options.path-style-access=false
      - nessie.catalog.service.s3.default-options.chunked-encoding-enabled=false
      - nessie.catalog.service.s3.default-options.auth-type=STATIC
      - nessie.catalog.service.s3.default-options.region=cn-beijing
      - nessie.catalog.service.s3.default-options.request-signing-enabled=false

4. 查询引擎集成实践

4.1 Trino集成Nessie

Trino集成Nessie时，建议使用Nessie提供的客户端模板：

bash复制NESSIE_BASE_URL="http://127.0.0.1:19120/"
curl "${NESSIE_BASE_URL}/iceberg-ext/v1/client-template/trino?format=static"

需要额外补充的配置包括：

code复制s3.aws-access-key=your_access_key
s3.aws-secret-key=your_secret_key
s3.endpoint=http://oss-cn-beijing-internal.aliyuncs.com

4.2 Doris集成实践

Doris的集成相对更稳定，创建Catalog的SQL示例：

sql复制CREATE CATALOG `nessie` PROPERTIES (
  "type"="iceberg",
  "iceberg.catalog.type"="rest",
  "uri"="http://nessie:19120/api/v1",
  "warehouse"="s3://mybucket/iceberg",
  "s3.endpoint"="http://oss-cn-beijing-internal.aliyuncs.com",
  "s3.access_key"="your_access_key",
  "s3.secret_key"="your_secret_key",
  "s3.region"="cn-beijing"
);

5. 性能优化建议

OSS配置优化：
- 使用内网Endpoint（oss-cn-beijing-internal.aliyuncs.com）
- 对于频繁访问的表，开启OSS的缓存功能
- 合理设置OSS分片大小（建议128MB）

Catalog调优：

yaml复制# Polaris性能参数
quarkus.thread-pool.max-threads=32
quarkus.datasource.jdbc.max-size=16

# Nessie性能参数
nessie.catalog.service.s3.default-options.max-concurrency=32

客户端优化：

properties复制# Trino配置
task.concurrency=8
task.writer-count=4

# Doris配置
parallel_fragment_exec_instance_num=8

6. 常见问题排查

认证失败：
- 检查AK/SK是否正确
- 确认OSS Bucket的权限设置
- 验证Endpoint是否可以连通

写入失败：

log复制Caused by: software.amazon.awssdk.services.s3.model.S3Exception: 
A header you provided implies functionality that is not implemented.

解决方案：确保已正确配置request-signing-enabled=false

连接超时：

检查网络ACL和安全组规则

适当调整超时参数：

properties复制spark.hadoop.fs.s3a.connection.timeout=30000
spark.hadoop.fs.s3a.attempts.maximum=5

在实际部署中，我们发现Nessie对国内环境的适配性更好，特别是对于需要频繁进行DML操作的场景。而Polaris在元数据管理方面提供了更丰富的API，适合需要精细权限控制的场景。