Airflow z ClickHouse: nowy standard dla analityki big data w duecie z ETL
Średni sklep internetowy z 500 tysiącami odwiedzających dziennie generuje 15 milionów zdarzeń miesięcznie. W ciągu roku to 200 milionów wierszy w tabelach użytkowników, zamówień, płatności i logów. Takie ilości danych przekraczają możliwości PostgreSQL w analityce, czyniąc duet Airflow + ClickHouse preferowanym dla procesów ETL.
PostgreSQL nadal sprawdza się w zadaniach OLTP, ale w OLAP na dużych wolumenach ustępuje wyspecjalizowanym kolumnowym bazom danych. Rynek ofert pracy to potwierdza: zapytania „Airflow ClickHouse” przewyższają „Airflow PostgreSQL” liczbą ogłoszeń.
Ograniczenia PostgreSQL w analityce
PostgreSQL jest zoptymalizowany pod obciążenia transakcyjne, ale napotyka problemy przy wzroście danych:
- Skanowanie dużych tabel (>100 mln wierszy) trwa minuty zamiast sekund.
- Agregacje na zbiorach terabajtowych powodują przeciążenia.
- Brak efektywnego kompresji i architektury MPP ogranicza skalowalność.
- Przechowywanie rocznej historii (>500 mln wierszy) pogarsza wydajność zapytań.
| Parametr | PostgreSQL | ClickHouse |
|----------|------------|------------|
| Skan 100M wierszy | Wolno | <1 s |
| Kompresja danych | Podstawowa | Do 10x |
| Paralelizm | Ograniczony | Pełny MPP |
| Analityczne JOIN | Trudne | Zoptymalizowane |
Po przekroczeniu 100 mln wierszy w tabeli PostgreSQL traci efektywność dla dashboardów i raportów, wymagając agregacji nocą.
Zalety ClickHouse w data engineering
ClickHouse korzysta z kolumnowego przechowywania, idealnego dla agregacji i skanów. Kluczowe funkcje:
- Wektorowe wykonanie: zapytania przetwarzane wektorowo na CPU, przyspieszając analitykę.
- Rodzina MergeTree: silniki tabel z kluczami głównymi i scalaniem partycji.
- Materializowane widoki: prekompilowane widoki dla przyspieszenia częstych zapytań.
- ASYNC INSERT: asynchroniczne wstawianie zdarzeń bez blokad.
W przeciwieństwie do wierszowego PostgreSQL, ClickHouse kompresuje dane 5–10 razy, przechowując pełną historię kliknięć bez czyszczeń. Zapytanie na roczny przekrój wykonuje się w sekundy, nawet na 500 mln wierszach.
Myślenie się zmienia: zamiast „wyczyścić dane” — „przechowywać wszystko dla przyszłej analityki”. DAG-i Airflow łatwo adaptować: źródła → Kafka/inne → ClickHouse przez JDBC lub interfejs HTTP.
Rynek narzuca standardy
Analiza ofert pracy w Polsce pokazuje dominację ClickHouse w stosach data:
- Airflow + PostgreSQL: mniej ofert.
- Airflow + ClickHouse: wzrost o 50–100% w zapytaniach.
Firmy wybierają stack po wskaźniku ROI: błyskawiczne dashboardy zwiększają tempo decyzji. ClickHouse integruje się z Airflow przez operatory ClickHouseOperator lub PostgresToClickHouseOperator do migracji.
Co ważne
- ClickHouse przewyższa PostgreSQL w OLAP 10–100x pod względem prędkości skanów i agregacji.
- Nadaje się do danych zdarzeniowych: logi, metryki, testy A/B bez wstępnej agregacji.
- Airflow + ClickHouse minimalizuje TCO dzięki kompresji i kolumnowemu przechowywaniu.
- Skalowanie: klastry z replikacją i shardowaniem dla petabajtów.
- Nie do OLTP: używaj z PostgreSQL w hybrydowym stacku.
— Editorial Team
Brak komentarzy.