Evan Miller A/B 테스트 계산기

A/B 테스트 표본 크기 계산: 에반 밀러 계산기 활용법

에반 밀러의 계산기를 사용하면 A/B 테스트에 필요한 표본 크기를 정확히 계산하여 오류 위험을 최소화하고 자원을 최적화할 수 있습니다. 이 도구는 기준 전환율, 예상 효과 크기, 통계적 검정력, 유의수준을 고려하여 A군과 B군에 필요한 관측치 수를 산출합니다.

적절한 계산은 표본 크기를 과소평가하여 높은 변동성을 초래하거나 과도한 데이터 양으로 자원을 낭비하는 것을 방지합니다. 예를 들어: 기준 전환율 56%에서 3% 증가를 목표로 할 경우, 표준 매개변수(검정력 80%, α=5%) 하에서 각 그룹당 약 13,719명의 사용자가 필요합니다. 20%의 여유를 두는 것이 권장되어 그룹당 총 16,463명이 필요합니다.

계산기의 매개변수

이 도구는 주요 지표를 순차적으로 입력해야 합니다:

• 기준 전환율 — 현재 전환율. (성공 이벤트 / 총 이벤트)로 계산됩니다. 예: 50만 건의 이메일 발송 중 28만 건 조회 = 56%.
• 최소 검출 가능 효과(MDE) — 검출하고자 하는 최소 효과 크기. 절대값(단위) 또는 상대값(%)으로 지정됩니다. 전환율의 경우 상대값이 선호됩니다.
• 통계적 검정력(1-β) — 실제 효과를 검출할 확률(표준은 80%). 값이 높을수록 더 큰 표본 크기가 필요합니다.
• 유의수준(α) — 제1종 오류(거짓 양성)의 확률(표준은 5%).

인터페이스의 그래프는 가설을 확인할 수 있는 효과 크기 범위(기준 + MDE의 회색 구간)를 보여줍니다.

매개변수가 표본 크기에 미치는 영향

설정 조정은 필요한 데이터 양에 직접적인 영향을 미칩니다:

• 검정력을 80%에서 90%로 높이면 표본 크기가 그룹당 13,719에서 18,372로 증가합니다.
• 더 낮은 α(예: 1%)는 더 큰 데이터 양을 요구합니다.
• 상대적 MDE는 백분율 기반 지표 해석에 용이하며, 절대적 MDE는 고정된 변화에 더 적합합니다.

| 매개변수 | 표준값 | 표본 크기 영향 |

|-----------|----------------|-----------------------|

| 검정력 | 80% | 기준 |

| α | 5% | 기준 |

| 검정력 90% | 90% | +34% |

| α 1% | 1% | +~100% |

계산 후 테스트 기간을 결정합니다: 표본 크기 / 평균 일일 트래픽. 예산: 표본 크기 × 유입당 비용.

실용적 사용 권장사항

• 사용자 이탈 또는 트래픽 변동을 고려하여 20%의 여유를 추가하세요.
• A/B 테스트 플랫폼(Optimizely, Google Optimize)을 사용하여 트래픽을 50/50으로 분할하세요.
• 이진 지표(전환)의 경우 상대적 MDE를 사용하세요.
• 가정을 검증하세요: 계절성과 대상 세분화를 고려하세요.

검증을 위한 Python 코드 예시(statsmodels 사용):

import statsmodels.stats.api as sms

effect_size = sms.proportion_effectsize(0.56, 0.56 * 1.03)
analysis = sms.NormalIndPower()
sample_size = analysis.solve_power(effect_size, power=0.8, alpha=0.05, ratio=1)
print(f"그룹당 표본 크기: {sample_size:.0f}")

출력: ~13,719, 계산기와 일치합니다.

핵심 요약

• 정확한 표본 크기 계산은 제1종 및 제2종 오류 가능성을 줄입니다.
• 표준 매개변수(검정력 80%, α 5%)는 속도와 신뢰성을 균형 있게 조정합니다.
• 20%의 여유는 실제 데이터 손실을 보상합니다.
• 코드 통합을 통해 자동화된 검증이 가능합니다.
• 트래픽 고려사항이 실제 테스트 기간을 결정합니다.

— Editorial Team