ClickHouse avec Airflow au lieu de PostgreSQL pour Big Data

Airflow avec ClickHouse : Nouveau standard pour l'analyse Big Data et ETL

Une boutique en ligne de taille moyenne avec 500 000 visiteurs quotidiens génère 15 millions d'événements par mois. Sur un an, cela représente 200 millions de lignes dans les tables utilisateurs, commandes, paiements et logs. À ces volumes, PostgreSQL peine pour l'analyse, faisant d'Airflow + ClickHouse la combinaison idéale pour les pipelines ETL.

PostgreSQL excelle dans les charges OLTP mais montre ses limites pour l'OLAP sur de gros volumes de données, comparé aux bases columnaires spécialisées. Les tendances du marché du travail le confirment : les offres « Airflow ClickHouse » surpassent largement « Airflow PostgreSQL ».

Les limites de PostgreSQL pour l'analyse

PostgreSQL est conçu pour les charges transactionnelles mais bute sur des obstacles quand les données grossissent :

• Scanner de grandes tables (>100M lignes) prend des minutes au lieu de secondes.
• Agrégations sur des datasets de l'ordre du téraoctet provoquent des surcharges.
• Compression limitée et absence d'architecture MPP freinent l'évolutivité.
• Stocker un historique annuel (>500M lignes) ralentit les requêtes à l'extrême.

| Fonctionnalité | PostgreSQL | ClickHouse |

|---------|------------|------------|

| Scan 100M lignes | Lent | <1 sec |

| Compression des données | Basique | Jusqu'à 10x |

| Parallélisme | Limité | MPP complet |

| JOINs analytiques | Compliqués | Optimisés |

Une fois les tables au-delà de 100M lignes, PostgreSQL devient inefficace pour les tableaux de bord et rapports, obligeant à des agrégations nocturnes.

Pourquoi ClickHouse domine en ingénierie des données

Le stockage orienté colonnes de ClickHouse est parfait pour les agrégations et scans. Principales fonctionnalités :

• Exécution vectorisée : Les requêtes traitent les données par vecteurs sur le CPU pour une analyse ultra-rapide.
• Famille MergeTree : Moteurs de tables avec clés primaires et fusion de partitions.
• Vues matérialisées : Vues pré-calculées pour accélérer les requêtes fréquentes.
• ASYNC INSERT : Insertions asynchrones non-bloquantes pour les flux d'événements.

Contrairement à PostgreSQL orienté lignes, ClickHouse compresse les données 5–10x, permettant de conserver des historiques complets de clics sans nettoyage. Les requêtes sur une année s'exécutent en secondes, même sur 500M lignes.

La mentalité évolue : stocker tout pour analyses futures plutôt que purger les données. Les DAGs Airflow s'adaptent facilement : sources → Kafka/autres → ClickHouse via JDBC ou HTTP.

Le marché du travail dicte la norme

Les offres d'emploi russes montrent la domination de ClickHouse dans les stacks de données :

• Airflow + PostgreSQL : Moins d'offres.
• Airflow + ClickHouse : 50–100% de demande en plus.

Les équipes choisissent les stacks selon le ROI : tableaux de bord instantanés accélèrent les décisions. ClickHouse s'intègre à Airflow via ClickHouseOperator ou PostgresToClickHouseOperator pour des migrations fluides.

Points clés

• ClickHouse surpasse PostgreSQL de 10–100x en vitesse de scan OLAP et agrégations.
• Idéal pour données d'événements : logs, métriques, tests A/B — sans pré-agrégation.
• Airflow + ClickHouse réduit les coûts TCO grâce à la compression et stockage colonnaire.
• Scalable jusqu'aux pétaoctets via clusters répliqués et shardés.
• Pas pour OLTP : combiner avec PostgreSQL en setup hybride.

— Editorial Team