MPP 中的 TCO ETL：DBT 与图形化工具

图形化ETL与DBT+Airflow在MPP数据库中的总拥有成本对比

基于云的MPP数据库通过消除许可费用降低了存储和计算成本，但ETL工具的选择会影响整体总拥有成本。传统的图形化解决方案如Informatica、ODI和MarkitEDM提供管道可视化，简化了调试和上手过程。而基于DBT+Airflow的现代开源方法在大型项目中需要更多的开发和维护投入。

总拥有成本不仅包括许可费用，还涉及功能成本、支持和变更。假设劳动力成本相等是错误的：图形化工具能最大限度地减少在数千个模型和表格中导航所花费的时间。

纯代码方法的缺点

在微服务架构中转向DBT+Airflow会导致时间浪费，因为缺乏统一的界面。日志和脚本分散，使得调试变得困难。

关键问题：

• 启动开销：由于微服务初始化，一个小的SQL查询（100 KB）可能需要30分钟加载——高达99%的开销。
• 缺乏完整性检查：MPP数据库原生不支持主键/外键；手动实现增加了开发时间。
• 追踪复杂性：在Python/Java中，堆栈跟踪合并，使得错误搜索比纯SQL耗时更长。
• 代码量增加：API和非SQL语言需要多行代码，拖慢了Git操作、代码审查和Docker/K8s镜像构建。

图形化ETL使用低代码：从设计生成代码，减少代码量10-20倍。它们遵循50年的ETL实践——提取、清洗、转换、加载。它们在一个地方提供运行历史、日志和数据血缘。

DBT+Airflow的优势

尽管有缺点，开源堆栈对中高级开发人员有优势：

• 通过宏进行原生模板化——高效生成代码。
• 与AI代理集成：整个管道在Git中，无需解释专有工具。

在静态或小型项目中，DBT初始成本更低。但在复杂场景中，由于性能和团队规模，总拥有成本会增加。

传统数据库与MPP中的总拥有成本

对于Oracle和SQL Server，总拥有成本不同：SQL Server中的锁需要更强大的硬件和优化。MPP简化了分析，但ETL选择至关重要。

图形化工具在大型项目中表现出色：上手更快，血缘更易管理。纯代码方法适合原型开发。

AI对ETL市场的影响

AI正在改变规则：期望从仓库自动生成ETL。尚未实现，但将引发变革。

• 经典ETL将向AI开放API。
• DBT面临风险：为人类设计的抽象层带来开销；AI将绕过它们，直接生成代码。

结果：AI管道更快，但不易人类阅读。

关键要点

• 图形化ETL通过低代码和可视化降低大型项目的总拥有成本。
• DBT+Airflow节省启动成本，但增加调试和开销成本。
• MPP数据库需要手动实现主键/外键；图形化工具简化了这一点。
• AI将消除对抽象层的需求，威胁开源ETL。
• 选择取决于规模：小型/静态项目用DBT，企业级用Informatica/ODI。

— Editorial Team