태그별 기사: spark

Spark에서의 선언형 데이터 파이프라인 | Classes and Decorators

Python에서 Classes and Decorators를 사용하여 유지보수 가능한 데이터 파이프라인 구축 방법. 데이터 엔지니어링 프로젝트를 위한 Spark 구현. 가이드를 읽어보세요.

Iceberg 최적화: 정렬 및 삭제 벡터

Apache Iceberg에서 쓰기 순서, 통계 및 벡터화된 삭제 구성. 쿼리 속도 향상, 스토리지 부하 감소. 데이터 엔지니어를 위한.

ETL 아키텍처: asapBI, Trino, Spark, Airflow - 데이터 엔지니어를 위한

asapBI가 Trino, Spark, Airflow를 단일 인터페이스로 결합하여 ETL 프로세스를 처리하는 방법. 코드 자동 생성, 오케스트레이션, 오픈 소스 솔루션 - 데이터 엔지니어를 위한.