VWE uzupełnia CUPED: redukcja wariancji w testach A/B
Testy A/B często nie wykrywają efektu z powodu wysokiego szumu w metryce. Zwiększenie ruchu lub czasu trwania eksperymentu to nie jedyne opcje. Redukcja wariancji estymacji poprzez CUPED lub VWE pozwala zwiększyć czułość. Te metody rozwiązują różne problemy: CUPED wykorzystuje kowariaty przedeksperymentalne, VWE – heterogeniczność wariancji między jednostkami.
Symulacje pokazują, że połączenie metod daje największą korzyść w scenariuszach z hałaśliwymi użytkownikami. Wyniki są odtwarzalne przy 4000 jednostkach, 300 symulacjach, seed=42.
Mechanizm CUPED: korelacja jako klucz do redukcji szumu
CUPED koryguje metrykę Y na podstawie kowariaty X z okresu przedeksperymentalnego:
Y_cuped = Y - θ (X - E[X]), gdzie θ = cov(Y, X) / var(X)Efekt zależy od korelacji ρ między X i Y. Przy ρ≈0 zysk jest minimalny (0.2% redukcji wariancji). Przy ρ=0.6 – 40%, przy ρ=0.95 – 90%.
Symulacja 1: Porównanie odchylenia standardowego estymacji efektu dla plain diff i CUPED przy ρ od 0 do 0.95. CUPED jest skuteczny tylko przy silnym związku kowariaty z wynikiem.
Typowe błędy:
- Słaba korelacja metryki przedeksperymentalnej z Y.
- Mieszanie danych przed i po interwencji.
- Ignorowanie heterogeniczności wariancji między jednostkami.
VWE: walka z niestabilnymi jednostkami
VWE stosuje wagi odwrotnie proporcjonalne do wariancji jednostki, estymowanej z obserwacji przedeksperymentalnych. Przydatne przy obecności power userów z wysoką zmiennością wewnątrzjednostkową.
Symulacja 2: 88% stabilnych użytkowników (sd=1), 12% hałaśliwych (sd=5). Porównanie RMSE (efekt=0):
| Metoda | RMSE | SD estymacji |
|-------------|------|------------|
| Plain diff | 0.073| 0.073 |
| CUPED | 0.064| 0.064 |
| VWE | 0.061| 0.061 |
| CUPED+VWE | 0.042| 0.042 |
Połączenie redukuje RMSE o 42% względem plain diff. Efektywna próba – 2550 z 4000 jednostek dzięki redystrybucji wag.
Kiedy stosować każdą metodę
CUPED w priorytecie
- Jakościowa kowariata przedeksperymentalna przed interwencją.
- Wysoka korelacja z metryką.
- Szum od rozrzutu międzyużytkownikowego na poziomie.
VWE jako uzupełnienie
- Dostępne powtarzalne obserwacje przedeksperymentalne do estymacji wariancji.
- Mała grupa użytkowników dominuje w wariancji.
- CUPED już zastosowany, ale czułość niewystarczająca.
Co jest ważne
- CUPED zwalcza przewidywalny szum poprzez skorelowane kowariaty, zysk proporcjonalny do ρ.
- VWE minimalizuje wkład niestabilnych jednostek, estymując wariancję z danych przedeksperymentalnych.
- Połączenie daje synergię w danych heterogenicznych: RMSE spada o 42% w symulacji.
- Weryfikacja danych obowiązkowa: syntetyka ilustruje, ale produkcja wymaga analizy struktury szumu.
- Efektywna próba zmniejsza się przy VWE – uwzględniać przy planowaniu.
Ograniczenia podejść
Symulacje upraszczają rzeczywistość:
- VWE tutaj podstawowe, bez optymalizacji produkcyjnych.
- Skupienie na wariancji/RMSE, bez obciążenia, kosztów wdrożenia.
- Wyniki nie uniwersalne – zależą od rozkładu wariancji w metryce.
W produkcji monitoruj wagi, odporność na wartości odstające i wpływ na metryki biznesowe.
— Editorial Team
Brak komentarzy.