Amazon S3 Tables unterstützen jetzt alle Apache-Iceberg-V3-Datentypen
🇬🇧 Read in English~2 min read
devopsawss3icebergdata-lakeanalytics
GPU-Teams stehen vor einem schlechten Kompromiss: ein Control Plane pro Team oder schwache Isolation in einem gemeinsamen Cluster. Dieses reproduzierbare Labor kombiniert Kamaji (Control Planes als Pods) und HAMi (fraktionierte GPUs) auf einer einzigen Maschine ohne GPU, unter Verwendung von HAMis Mock-Device-Plugin.
S3 Tables – AWS‘ vollständig verwalteter Iceberg-Speicher mit automatischer Tabellenwartung und Kompaktierung – unterstützt jetzt alle Apache-Iceberg-V3-Datentypen. V3 ist die Version, in der sich Icebergs Löschansatz auf eine Weise ändert, die für echte Pipelines relevant ist: Deletion Vectors ersetzen die rewrite-intensiven Delete-Dateien von V2.
In V2 führte jedes Löschen zu Rewrites von Datendateien und Delete-Dateien – teuer bei stark veränderten Tabellen. V3 führt positionsbasierte Löschvektoren ein: Löschungen werden als leichtgewichtige Zeilenpositionen erfasst, ohne ganze Dateien neu zu schreiben. Das führt direkt zu schnelleren Updates und günstigeren Speicheroperationen bei häufig modifizierten Tabellen.
V3 fügt außerdem Row Lineage-Metadaten hinzu – jede Zeile verfolgt ihre Herkunft und die Sequenznummer der letzten Aktualisierung –, was wirklich effiziente inkrementelle Pipelines ermöglicht.
AWS bietet Abwärtskompatibilität für beide Versionen, um Störungen zu minimieren. Bestehende V2-Reader funktionieren weiterhin mit aktualisierten Tabellen, bis Sie die V3-Funktionen vollständig übernehmen.
Das Upgrade ist atomar und erfordert kein Daten-Rewrite:
ALTER TABLE my_catalog.namespace.existing_table
SET TBLPROPERTIES ('format-version' = '3')
Beim nächsten Kompaktierungszyklus entfernt S3 Tables alte V2-Delete-Dateien. Neue Änderungen verwenden automatisch Deletion Vectors, und Row Lineage wird bei der ersten Datenänderung nach dem Upgrade initialisiert.
Ein Hinweis: Dies ist eine einseitige Operation – Iceberg unterstützt kein Downgrade von V3 auf V2. Stellen Sie sicher, dass alle Engines, die auf die Tabelle zugreifen, V3 unterstützen, bevor Sie das Upgrade durchführen.
Sobald Ihre Tabelle V3-Daten enthält, nutzen Sie Row Lineage, um effiziente inkrementelle Pipelines zu erstellen – zum Beispiel:
SELECT *, _row_id, _last_updated_sequence_number FROM ...
Statt vollständiger Scans oder Zeitstempel-Heuristiken können Sie genau die Zeilen verarbeiten, die sich seit einer bekannten Sequenznummer geändert haben.
Wenn Sie stark veränderte Iceberg-Tabellen auf S3 Tables betreiben, rechtfertigen allein die Deletion Vectors von V3 den Wechsel – günstigere Löschungen, keine vollständigen Datei-Rewrites, schnellere Kompaktierungen. Das atomare Upgrade ohne Rewrite macht es risikoarm; bestätigen Sie jedoch zuerst die Engine-Unterstützung, da es kein Zurück gibt.