ClickHouse mit Airflow statt PostgreSQL für Big Data

Airflow mit ClickHouse: Neuer Standard für Big-Data-Analyse und ETL

Ein mittelgroßer Onlineshop mit 500.000 täglichen Besuchern erzeugt monatlich 15 Millionen Events. Über ein Jahr hinweg sind das 200 Millionen Datensätze in Nutzer-, Bestell-, Zahlungs- und Log-Tabellen. Bei solchen Volumina stößt PostgreSQL an Grenzen in der Analyse – Airflow + ClickHouse wird zum Maßstab für ETL-Pipelines.

PostgreSQL glänzt bei transaktionslastigen Anwendungen (OLTP), scheitert aber bei analytischen Workloads (OLAP) auf riesigen Datensätzen im Vergleich zu spezialisierten Spalten-Datenbanken. Der Arbeitsmarkt bestätigt das: Stellenanzeigen für „Airflow ClickHouse“ übertreffen „Airflow PostgreSQL“ deutlich.

Grenzen von PostgreSQL in der Analyse

PostgreSQL ist für Transaktionen optimiert, stößt aber bei wachsenden Datenmengen an Grenzen:

• Das Scannen großer Tabellen (>100 Mio. Zeilen) dauert Minuten statt Sekunden.
• Aggregationen auf Terabyte-Datensätzen überlasten den Server.
• Begrenzte Komprimierung und fehlende MPP-Architektur behindern Skalierbarkeit.
• Die Speicherung einer Jahresgeschichte (>500 Mio. Zeilen) bremst Abfragen auf Schneckentempo.

| Feature | PostgreSQL | ClickHouse |

|---------|------------|------------|

| Scan 100 Mio. Zeilen | Langsam | <1 Sek. |

| Datenkomprimierung | Basis | Bis 10x |

| Parallelität | Begrenzt | Voll-MPP |

| Analytische JOINs | Knifflig | Optimiert |

Sobald Tabellen 100 Mio. Zeilen überschreiten, wird PostgreSQL für Dashboards und Reports ineffizient – nächtliche Aggregationen sind dann Pflicht.

Warum ClickHouse in der Data Engineering siegt

Die spaltenorientierte Speicherung von ClickHouse ist ideal für Aggregationen und Scans. Wichtige Features:

• Vektorisierte Ausführung: Abfragen verarbeiten Daten vektoriell auf der CPU für ultraschnelle Analysen.
• MergeTree-Familie: Tabellen-Engines mit Primärschlüsseln und Partition-Merging.
• Materialized Views: Vorkomputierte Views für häufige Abfragen.
• ASYNC INSERT: Nicht-blockierende asynchrone Einfügungen für Event-Streams.

Im Gegensatz zum zeilenorientierten PostgreSQL komprimiert ClickHouse Daten 5–10-fach und erlaubt lückenlose Klick-Historien ohne Aufräumarbeiten. Abfragen über ein Jahr laufen bei 500 Mio. Zeilen in Sekunden.

Das Denken wandelt sich: Alles speichern für zukünftige Analysen statt Datenbereinigung. Airflow-DAGs passen sich nahtlos an: Quellen → Kafka & Co. → ClickHouse via JDBC oder HTTP.

Der Arbeitsmarkt diktiert den Standard

Russische Stellenanzeigen zeigen: ClickHouse dominiert Data-Stacks:

• Airflow + PostgreSQL: Weniger Ausschreibungen.
• Airflow + ClickHouse: 50–100 % mehr Nachfrage.

Teams wählen Stacks nach ROI: Sofortige Dashboards beschleunigen Entscheidungen. ClickHouse integriert sich in Airflow mit ClickHouseOperator oder PostgresToClickHouseOperator für reibungslose Migrationen.

Wichtige Erkenntnisse

• ClickHouse ist 10–100x schneller als PostgreSQL bei OLAP-Scans und Aggregationen.
• Ideal für Event-Daten: Logs, Metriken, A/B-Tests – keine Voraggregation nötig.
• Airflow + ClickHouse senkt TCO durch Komprimierung und Spaltenspeicher.
• Skaliert auf Petabytes via replizierter, sharder Cluster.
• Nicht für OLTP: Hybrid mit PostgreSQL kombinieren.

— Editorial Team