VWE doplňuje CUPED: snížení rozptylu v A/B testech
A/B testy často neodhalí efekt kvůli vysokému šumu v metrice. Zvýšení provozu nebo délky experimentu nejsou jediné možnosti. Snížení rozptylu odhadu pomocí CUPED nebo VWE umožňuje zvýšit citlivost. Tyto metody řeší různé problémy: CUPED využívá předexperimentální kovariáty, VWE – heterogenitu rozptylu podle jednotek.
Simulace ukazují, že kombinace metod přináší největší zisk ve scénářích s hlučnými uživateli. Výsledky jsou reprodukovatelné při 4000 jednotkách, 300 simulacích, seed=42.
Mechanismus CUPED: korelace jako klíč ke snížení šumu
CUPED upravuje metriku Y na základě předexperimentálních kovariát X:
Y_cuped = Y - θ (X - E[X]), kde θ = cov(Y, X) / var(X)Efekt závisí na korelaci ρ mezi X a Y. Při ρ≈0 je zisk minimální (0,2% snížení rozptylu). Při ρ=0,6 – 40 %, při ρ=0,95 – 90 %.
Simulace 1: Porovnání směrodatné odchylky odhadu efektu pro plain diff a CUPED při ρ od 0 do 0,95. CUPED je účinný pouze při silné vazbě kovariáty s outcome.
Typické chyby:
- Slabá korelace předchozích metrik s Y.
- Míchání před- a postexperimentálních dat.
- Ignorování heterogenity rozptylu podle jednotek.
VWE: boj s nestabilními jednotkami
VWE aplikuje váhy nepřímo úměrné rozptylu jednotky, odhadovanému z předchozího pozorování. Užitečné při přítomnosti power userů s vysokou vnitřní variabilitou.
Simulace 2: 88 % stabilních uživatelů (sd=1), 12 % hlučných (sd=5). Porovnání RMSE (efekt=0):
| Metoda | RMSE | SD odhadu |
|-------------|------|------------|
| Plain diff | 0,073| 0,073 |
| CUPED | 0,064| 0,064 |
| VWE | 0,061| 0,061 |
| CUPED+VWE | 0,042| 0,042 |
Kombinace snižuje RMSE o 42 % oproti plain diff. Efektivní vzorek – 2550 z 4000 jednotek díky přerozdělení vah.
Kdy použít každou metodu
CUPED v prioritě
- Kvalitní předexperimentální kovariáty před treatmentem.
- Vysoká korelace s metrikou.
- Šum z meziuživatelského rozptylu úrovně.
VWE jako doplněk
- K dispozici opakovaná předchozí pozorování pro odhad rozptylu.
- Malá skupina uživatelů dominuje v rozptylu.
- CUPED již aplikován, ale citlivost nedostatečná.
Co je důležité
- CUPED bojuje s předvídatelným šumem přes korelované kovariáty, zisk úměrný ρ.
- VWE minimalizuje příspěvek nestabilních jednotek, odhaduje rozptyl z předchozích dat.
- Kombinace dává synergii v heterogenních datech: RMSE klesá o 42 % v simulaci.
- Kontrola dat povinná: syntetika ilustruje, ale produkce vyžaduje analýzu struktury šumu.
- Efektivní vzorek se zmenšuje při VWE – zohlednit při plánování.
Omezení přístupů
Simulace zjednodušují realitu:
- VWE zde základní, bez produkčních optimalizací.
- Zaměření na rozptyl/RMSE, bez bias, nákladů implementace.
- Výsledky nejsou univerzální – závisí na distribuci rozptylu v metrice.
V produkci sledujte váhy, odolnost vůči odlehlým hodnotám a vliv na business metriky.
— Editorial Team
Zatím žádné komentáře.