按标签查看文章: spark

Spark 中的声明式数据管道 | 类和装饰器

如何使用 Python 中的类和装饰器构建可维护的数据管道。Spark 上的实现用于数据工程项目。阅读指南。

Iceberg 优化：排序和删除向量

在 Apache Iceberg 中配置写入顺序、统计信息和向量化删除。加速查询，减少存储负载。适用于数据工程师。

ETL 架构：asapBI、Trino、Spark、Airflow，适用于数据工程师

asapBI 如何将 Trino、Spark 和 Airflow 整合到一个单一界面中，用于 ETL 流程。代码自动生成、编排以及开源解决方案，适用于数据工程师。