Obliczanie wielkości próby dla testów A/B: narzędzie Evana Millera
Kalkulator Evana Millera umożliwia precyzyjne obliczenie wielkości próby dla testów A/B, minimalizując ryzyko błędów i optymalizując zasoby. Narzędzie uwzględnia bazową konwersję, oczekiwany efekt, moc statystyczną i poziom istotności, podając liczbę obserwacji dla grup A i B.
Prawidłowe obliczenie zapobiega niedoszacowaniu próby, prowadzącemu do wysokiej zmienności, lub marnowaniu zasobów na nadmierną ilość danych. Przykładowo: przy bazowej konwersji 56% i celu zwiększenia o 3% potrzeba około 13 719 użytkowników na grupę przy standardowych parametrach (moc 80%, α=5%). Zaleca się bufor +20%, czyli łącznie 16 463 na grupę.
Parametry obliczeń w kalkulatorze
Narzędzie wymaga sekwencyjnego wprowadzenia kluczowych metryk:
- Baseline conversion rate — aktualny współczynnik konwersji. Obliczany jako (sukcesy / całkowita liczba). Przykład: 280 000 wyświetleń z 500 000 wysyłek = 56%.
- Minimum Detectable Effect (MDE) — minimalny wykrywalny efekt. Podawany w wartościach absolutnych (jednostki) lub względnych (%). Dla konwersji preferowane są względne.
- Statistical power (1-β) — prawdopodobieństwo wykrycia rzeczywistego efektu (standard 80%). Wyższa wartość — większa próba.
- Significance level (α) — prawdopodobieństwo błędu I rodzaju (fałszywie pozytywny wynik, standard 5%).
Wykres w interfejsie pokazuje zakres efektów potwierdzających hipotezę (szary przedział od baseline + MDE).
Wpływ parametrów na wielkość próby
Zmiana ustawień bezpośrednio wpływa na ilość danych:
- Zwiększenie mocy z 80% do 90% podnosi próbę z 13 719 do 18 372 na grupę.
- Niższy α (np. 1%) wymaga jeszcze większej ilości.
- Względny MDE łatwiej interpretować dla metryk procentowych, absolutny — dla stałych zmian.
| Parametr | Wartość standardowa | Efekt na próbę |
|----------|---------------------|-------------------|
| Power | 80% | Bazowy |
| α | 5% | Bazowy |
| Power 90%| 90% | +34% |
| α 1% | 1% | +~100% |
Po obliczeniu czas trwania testu: wielkość próby / średni dzienny ruch. Budżet: wielkość × koszt pozyskania.
Praktyczne zalecenia dotyczące użytkowania
- Dodawaj 20% buforu na uwzględnienie odpływu lub wahań ruchu.
- Rozdzielaj ruch 50/50 między grupami za pomocą narzędzi do testów A/B (Optimizely, Google Optimize).
- Dla metryk binarnych (konwersja) używaj względnego MDE.
- Sprawdzaj założenia: sezonowość, segmentację odbiorców.
Przykład kodu do weryfikacji w Pythonie (używając statsmodels):
import statsmodels.stats.api as sms
effect_size = sms.proportion_effectsize(0.56, 0.56 * 1.03)
analysis = sms.NormalIndPower()
sample_size = analysis.solve_power(effect_size, power=0.8, alpha=0.05, ratio=1)
print(f"Wielkość na grupę: {sample_size:.0f}")Wynik: ~13 719, zgodny z kalkulatorem.
Co jest ważne
- Precyzyjne obliczenie próby zmniejsza prawdopodobieństwo błędów I i II rodzaju.
- Standardowe parametry (moc 80%, α 5%) równoważą szybkość i niezawodność.
- Bufor 20% kompensuje rzeczywiste straty danych.
- Integracja z kodem pozwala zautomatyzować sprawdzanie.
- Uwzględnienie ruchu określa rzeczywisty czas trwania testu.
— Editorial Team
Brak komentarzy.