빅 데이터용 PostgreSQL 대신 Airflow와 함께 ClickHouse

Airflow와 ClickHouse: 빅데이터 분석 및 ETL의 새로운 표준

일일 방문자 50만 명 규모의 중형 온라인 쇼핑몰은 한 달에 1,500만 건의 이벤트를 발생시킵니다. 1년이면 사용자, 주문, 결제, 로그 테이블에 걸쳐 2억 행의 데이터가 쌓이죠. 이 정도 규모에서는 PostgreSQL로 분석이 버거워지며, Airflow + ClickHouse 조합이 ETL 파이프라인의 표준으로 자리 잡고 있습니다.

PostgreSQL은 OLTP 작업에 최적화되어 있지만, 대규모 데이터셋의 OLAP에서는 전문 컬럼형 데이터베이스에 밀립니다. 구인 시장 추세도 이를 뒷받침하죠: "Airflow ClickHouse" 채용 공고가 "Airflow PostgreSQL"을 크게 앞섭니다.

PostgreSQL의 분석 한계

PostgreSQL은 트랜잭션 부하에 강하지만 데이터가 커지면 벽에 부딪힙니다:

• 대형 테이블(1억 행 초과) 스캔에 수 분이 걸림.
• 테라바이트급 데이터셋 집계로 시스템 과부하.
• 압축 기능 제한과 MPP 아키텍처 부재로 확장성 저하.
• 1년치 이력(5억 행 초과) 저장 시 쿼리 속도 급감.

| 기능 | PostgreSQL | ClickHouse |

|------|------------|------------|

| 1억 행 스캔 | 느림 | 1초 미만 |

| 데이터 압축 | 기본 | 최대 10배 |

| 병렬 처리 | 제한적 | 완전 MPP |

| 분석 JOIN | 까다로움 | 최적화 |

테이블이 1억 행을 넘어서면 PostgreSQL은 대시보드와 리포트에서 비효율적이며, 야간 집계가 불가피해집니다.

데이터 엔지니어링에서 ClickHouse가 승리하는 이유

ClickHouse의 컬럼 지향 저장 방식은 집계와 스캔에 딱 맞습니다. 주요 기능:

• 벡터화 실행: CPU에서 벡터 단위로 데이터를 처리해 초고속 분석.
• MergeTree 계열: 기본키와 파티션 병합을 지원하는 테이블 엔진.
• 물리화 뷰: 자주 쓰는 쿼리를 미리 계산해 가속.
• ASYNC INSERT: 이벤트 스트림을 위한 비동기 삽입.

행 지향 PostgreSQL과 달리 ClickHouse는 데이터를 5~10배 압축해 클릭 이력 전체를 정리 없이 보관할 수 있습니다. 5억 행에서도 1년치 슬라이스 쿼리가 수 초 만에 실행되죠.

마인드셋이 바뀌고 있습니다: 데이터 정리 대신 모든 걸 저장해 미래 분석에 활용. Airflow DAG는 자연스럽게 적응합니다: 소스 → Kafka 등 → JDBC/HTTP로 ClickHouse.

구인 시장이 정하는 표준

러시아 구인 사이트에서 ClickHouse가 데이터 스택을 장악하고 있습니다:

• Airflow + PostgreSQL: 공고 수 적음.
• Airflow + ClickHouse: 수요 50~100% 많음.

팀들은 ROI를 기준으로 스택을 선택하죠: 즉시 대시보드가 의사결정을 앞당깁니다. ClickHouse는 ClickHouseOperator나 PostgresToClickHouseOperator로 Airflow에 쉽게 연동되며, 마이그레이션도 수월합니다.

주요 요약

• ClickHouse는 OLAP 스캔과 집계 속도에서 PostgreSQL을 10~100배 앞섬.
• 이벤트 데이터(로그, 메트릭, A/B 테스트)에 이상적: 사전 집계 불필요.
• Airflow + ClickHouse는 압축과 컬럼 저장으로 TCO 절감.
• 복제/샤딩 클러스터로 페타바이트까지 확장.
• OLTP에는 부적합: PostgreSQL과 하이브리드 구성 추천.

— Editorial Team