Airflow s ClickHouse: nový standard pro analýzu velkých dat v ETL procesech
Průměrný internetový obchod s 500 tisíci návštěvníky denně generuje 15 milionů událostí měsíčně. Za rok to znamená 200 milionů řádků v tabulkách uživatelů, objednávek, plateb a logů. Takové objemy dat překračují možnosti PostgreSQL pro analýzu, díky čemuž je kombinace Airflow + ClickHouse preferovanou volbou pro ETL procesy.
PostgreSQL zůstává silné v OLTP úlohách, ale pro OLAP na velkých objemech zaostává za specializovanými sloupcovými SÚBD. Trh s volnými místy to potvrzuje: požadavky „Airflow ClickHouse“ překonávají „Airflow PostgreSQL“ počtem nabídek.
Omezení PostgreSQL pro analýzu
PostgreSQL je optimalizováno pro transakční zátěž, ale narazí na problémy při růstu dat:
- Skenování velkých tabulek (>100 milionů řádků) trvá minuty místo sekund.
- Agregace na terabajtových datasetech vede k přetížení.
- Chybí efektivní komprese a MPP architektura, což snižuje škálovatelnost.
- Uložení roční historie (>500 milionů řádků) zhoršuje výkon dotazů.
| Parametr | PostgreSQL | ClickHouse |
|----------|------------|------------|
| Sken 100M řádků | Pomalu | <1 s |
| Komprese dat | Základní | Až 10x |
| Paralelismus | Omezený | Plný MPP |
| Analytické JOIN | Složité | Optimalizováno |
Při překročení 100 milionů řádků v tabulce PostgreSQL ztrácí efektivitu pro dashboardy a reporty, což vyžaduje agregace v noci.
Výhody ClickHouse v data engineeringu
ClickHouse využívá sloupcově orientované uložení, ideální pro agregace a skeny. Klíčové funkce:
- Vectorized execution: dotazy se zpracovávají vektoricky na CPU, což urychluje analýzu.
- MergeTree family: enginy tabulek s primárními klíči a slučováním partitionů.
- Materialized Views: předvypočítaná zobrazení pro rychlejší časté dotazy.
- ASYNC INSERT: asynchronní vkládání událostí bez blokování.
Na rozdíl od řádkově orientovaného PostgreSQL ClickHouse komprimuje data 5–10x a ukládá kompletní historii kliků bez čištění. Dotaz na roční řez proběhne za sekundy i na 500 milionech řádků.
Mentalita se mění: místo „vyčistit data“ – „uchovávat vše pro budoucí analýzu“. Airflow DAGy se snadno adaptují: zdroje → Kafka/jiné → ClickHouse přes JDBC nebo HTTP rozhraní.
Trh určuje standardy
Analýza volných míst v Česku a okolí ukazuje dominanci ClickHouse v data stackech:
- Airflow + PostgreSQL: méně nabídek.
- Airflow + ClickHouse: růst o 50–100 % podle požadavků.
Firmy volí stack podle ROI: okamžité dashboardy zrychlují rozhodování. ClickHouse se integruje do Airflow přes operátory ClickHouseOperator nebo PostgresToClickHouseOperator pro migrace.
Co je důležité
- ClickHouse překonává PostgreSQL v OLAP o 10–100x rychlostí skenů a agregací.
- Vhodné pro eventová data: logy, metriky, A/B testy bez předchozích agregací.
- Airflow + ClickHouse minimalizuje TCO díky kompresi a sloupcovému uložení.
- Škálování: klastry s replikací a shardováním pro petabajty.
- Ne pro OLTP: kombinujte s PostgreSQL v hybridním stacku.
— Editorial Team
Zatím žádné komentáře.