Artikel nach Tag: Spark

Deklarative Datenpipeline in Spark | Klassen und Dekoratoren

Wie man eine wartbare Datenpipeline mit Klassen und Dekoratoren in Python erstellt. Implementierung auf Spark für Data Engineering-Projekte. Lesen Sie den Leitfaden.

Iceberg-Optimierung: Sortierung und Löschvektoren

Konfiguration von Schreibsortierung, Statistiken und vektorisierter Löschung in Apache Iceberg. Beschleunigen Sie Abfragen, reduzieren Sie die Belastung des Speichers. Für Dateningenieure.

ETL-Architektur: asapBI, Trino, Spark, Airflow für Data Engineers

Wie asapBI Trino, Spark und Airflow in einer einzigen Oberfläche für ETL-Prozesse kombiniert. Code-Autogenerierung, Orchestrierung und Open-Source-Lösungen für Data Engineers.