按标签查看文章: data-engineering

BI系统中三大数据聚合错误

了解为什么BI系统会出错：平均、count distinct和snapshot metrics的数学错误。如何构建无失真的分析。

ClickHouse 物化视图：细微差别与解决方案

ClickHouse 中的 MV 如何工作？与传统 DBMS 的关键差异、UPDATE/DELETE 限制以及最佳实践。了解如何避免设计错误。

Spark 中的声明式数据管道 | 类和装饰器

如何使用 Python 中的类和装饰器构建可维护的数据管道。Spark 上的实现用于数据工程项目。阅读指南。

招聘数据工程师中的 vibe-coding：AI 迹象

如何识别数据工程师测试任务中的 AI 生成。面试适应、vibe-coder 类型和市场退化。招聘中级人员的实用提示——阅读经验。

AWS DEA-C01：如何在没有云经验的情况下通过

AWS Data Engineer Associate 准备：Dojo、Anki、Udemy 资源。以 805/1000 通过的经验。ETL、Glue、Athena — 关键主题。为认证系统地开始。

ArchDB：模块化 DB 模式作为代码

探索 ArchDB 中的声明式 DB 建模：模板、包、生成字段。加速开发，消除重复。PostgreSQL 示例超过 2500+ 字符。

Iceberg 优化：排序和删除向量

在 Apache Iceberg 中配置写入顺序、统计信息和向量化删除。加速查询，减少存储负载。适用于数据工程师。

2026 年大数据课程：数据工程概述

6 个大数据和数据工程课程比较：从零到中级。ETL、Spark、Kafka、Yandex Cloud。根据级别和格式选择 2026 年职业程序。现在报名。

Python 中的 Parquet：读取、写入和优化

数据工程师实用指南：如何使用过滤读取 Parquet、使用显式 schema 写入、使用字典编码和分区。适用于生产环境。

Elixir 上的流式数据处理：架构与实现

掌握 Elixir 上流式数据处理的架构：从节点分类到模拟器实现和集成。了解更多！

ETL 架构：asapBI、Trino、Spark、Airflow，适用于数据工程师

asapBI 如何将 Trino、Spark 和 Airflow 整合到一个单一界面中，用于 ETL 流程。代码自动生成、编排以及开源解决方案，适用于数据工程师。