VWE und CUPED in A/B-Tests: Varianzreduktion

VWE ergänzt CUPED: Varianzreduktion in A/B-Tests

A/B-Tests scheitern oft an der Erkennung von Effekten aufgrund hoher Rauschens in den Metriken. Mehr Traffic oder längere Testdauer sind nicht die einzigen Lösungen. Die Reduzierung der Varianzschätzung durch CUPED oder VWE kann die Sensitivität erhöhen. Diese Methoden adressieren unterschiedliche Probleme: CUPED nutzt Kovariaten aus der Vorperiode, während VWE Varianzheterogenität zwischen Einheiten behandelt.

Simulationen zeigen, dass die Kombination der Methoden den größten Nutzen in Szenarien mit verrauschten Nutzern bringt. Ergebnisse sind mit 4000 Einheiten, 300 Simulationen, Seed=42 reproduzierbar.

Der CUPED-Mechanismus: Korrelation als Schlüssel zur Rauschreduktion

CUPED passt Metrik Y basierend auf Kovariate X aus der Vorperiode an:

Y_cuped = Y - θ (X - E[X]), wobei θ = cov(Y, X) / var(X)

Der Effekt hängt von der Korrelation ρ zwischen X und Y ab. Bei ρ≈0 ist der Gewinn minimal (0,2% Varianzreduktion). Bei ρ=0,6 sind es 40%; bei ρ=0,95 sind es 90%.

Simulation 1: Vergleich der Standardabweichung der Effektschätzung für einfache Differenz und CUPED mit ρ von 0 bis 0,95. CUPED ist nur bei starker Kovariaten-Ergebnis-Verbindung effektiv.

Häufige Fehler:

• Schwache Korrelation zwischen Vor-Metrik und Y.
• Vermischung von Vor- und Nachbehandlungsdaten.
• Ignorieren von Varianzheterogenität zwischen Einheiten.

VWE: Behandlung instabiler Einheiten

VWE wendet Gewichte an, die invers zur Einheitenvarianz sind, geschätzt aus Vorbeobachtungen. Nützlich, wenn Power-User hohe Within-Unit-Variabilität aufweisen.

Simulation 2: 88% stabile Nutzer (sd=1), 12% verrauschte Nutzer (sd=5). Vergleich RMSE (Effekt=0):

| Methode | RMSE | SD-Schätzung |

|-------------|------|------------|

| Einfache Diff | 0,073| 0,073 |

| CUPED | 0,064| 0,064 |

| VWE | 0,061| 0,061 |

| CUPED+VWE | 0,042| 0,042 |

Die Kombination reduziert RMSE um 42% im Vergleich zur einfachen Differenz. Die effektive Stichprobengröße beträgt 2550 von 4000 Einheiten aufgrund der Gewichtsverteilung.

Wann welche Methode einsetzen

CUPED priorisieren

• Hochwertige Kovariate aus Vorbehandlungszeitraum.
• Starke Korrelation mit der Metrik.
• Rauschen von Variation zwischen Nutzern.

VWE als Ergänzung nutzen

• Wiederholte Vorbeobachtungen für Varianzschätzung verfügbar.
• Eine kleine Nutzergruppe dominiert die Varianz.
• CUPED wurde angewendet, aber Sensitivität bleibt unzureichend.

Wichtige Erkenntnisse

• CUPED bekämpft vorhersehbares Rauschen durch korrelierte Kovariaten, mit Gewinn proportional zu ρ.
• VWE minimiert den Beitrag instabiler Einheiten durch Varianzschätzung aus Vor-Daten.
• Kombination schafft Synergie in heterogenen Daten: RMSE sinkt in der Simulation um 42%.
• Datenvalidierung ist essenziell: Synthetische Daten illustrieren, aber Produktion erfordert Analyse der Rauschstruktur.
• Effektive Stichprobengröße schrumpft mit VWE – bei Planung berücksichtigen.

Grenzen der Ansätze

Simulationen vereinfachen die Realität:

• VWE hier ist grundlegend, ohne Produktionsoptimierungen.
• Fokus auf Varianz/RMSE, nicht Bias oder Implementierungskosten.
• Ergebnisse sind nicht universell – sie hängen von der Metrikenvarianzverteilung ab.

In der Produktion Gewichte überwachen, Robustheit gegenüber Ausreißern und Auswirkung auf Geschäftsmetriken.

— Editorial Team