Artykuły według tagu: spark

Deklaratywny Data Pipeline w Spark | Klasy i dekoratory

Jak zbudować łatwy w utrzymaniu data pipeline za pomocą klas i dekoratorów w Python. Implementacja na Spark dla projektów data engineering. Czytaj przewodnik.

Optymalizacja Iceberg: sortowanie i deletion vectors

Konfiguracja kolejności zapisu, statystyk i wektoryzowanego usuwania w Apache Iceberg. Przyspiesz zapytania, zmniejsz obciążenie storage. Dla data engineers.

Architektura ETL: asapBI, Trino, Spark, Airflow dla inżynierów danych

Jak asapBI integruje Trino, Spark i Airflow w jeden interfejs dla procesów ETL. Autogenerowanie kodu, orkiestracja i rozwiązania Open Source dla inżynierów danych.