Články podle tagu: Spark

Deklarativní Data Pipeline ve Spark | Třídy a dekorátory

Jak postavit udržitelný data pipeline s pomocí tříd a dekorátorů v Pythonu. Implementace na Spark pro projekty data engineering. Přečtěte si průvodce.

Optimalizace Iceberg: řazení a deletion vectors

Nastavení pořadí zápisu, statistik a vektorizovaného odstranění v Apache Iceberg. Zrychlete dotazy, snižte zátěž na úložiště. Pro data engineers.

Architektura ETL: asapBI, Trino, Spark, Airflow pro datové inženýry

Jak asapBI spojuje Trino, Spark a Airflow do jediného rozhraní pro ETL procesy. Autogenerování kódu, orchestrace a Open Source řešení pro datové inženýry.