タイムテーブルへ戻る
Pace UP
ビッグデータ支部

Amazon S3 Tablesに全部任せてみた結果——コンパクション/スナップショット管理は本当に手放せるか

開発設計学習構成図インフラアーキテクチャデータ活用技術選定
SESSION
通常のS3 + AWS Glue + Spark SQLでApache Icebergを運用する場合、compaction・snapshot expiration・orphan file removalは自前でスケジューリングし、クラスタも管理する必要があります。 一方、Amazon S3 Tablesはこれらのメンテナンスをデフォルトで自動実行するとされています。では実際どこまで「手放せる」のか? 本セッションでは、S3 Tablesが自動で担うメンテナンス範囲を実例と共に整理した上で、ブランチ/タグベースの保持ポリシーとの非互換、対応データ型・圧縮形式の制約、Glue Data Catalogとの統合における注意点など、「やらないこと・できないこと」を具体的に解説します。 自前でのIceberg運用に消耗している方、S3 Tables採用を検討している実務者に向けて、「どこまで任せてよく、どこは自分で見るべきか」の判断基準を持ち帰っていただくことを目指します。

SPEAKERS

織田繁(Shigeru Oda)

AWS Community Hero JAWS-UG ビッグデータ支部運営 AWS、IaC、Apache Icebergを中心にアウトプットをしています