Evan Miller Rechner für A/B-Tests

Berechnung der Stichprobengröße für A/B-Tests: Der Evan-Miller-Rechner

Der Evan-Miller-Rechner ermöglicht es Ihnen, die für A/B-Tests benötigte Stichprobengröße präzise zu bestimmen, um das Fehlerrisiko zu minimieren und Ressourcen zu optimieren. Das Tool berücksichtigt die Basis-Konversionsrate, die erwartete Effektgröße, die statistische Power und das Signifikanzniveau und gibt die erforderliche Anzahl an Beobachtungen für Gruppe A und B aus.

Eine korrekte Berechnung verhindert, dass die Stichprobengröße unterschätzt wird, was zu hoher Variabilität führt, oder dass Ressourcen durch übermäßige Datenmengen verschwendet werden. Beispiel: Bei einer Basis-Konversionsrate von 56 % und dem Ziel, diese um 3 % zu steigern, sind unter Standardparametern (80 % Power, α=5 %) etwa 13.719 Nutzer pro Gruppe erforderlich. Eine Pufferreserve von 20 % wird empfohlen, was insgesamt 16.463 pro Gruppe ergibt.

Berechnungsparameter im Rechner

Das Tool erfordert die sequenzielle Eingabe von Schlüsselkennzahlen:

• Basis-Konversionsrate – die aktuelle Konversionsrate. Berechnet als (erfolgreiche Ereignisse / Gesamtereignisse). Beispiel: 280.000 Aufrufe aus 500.000 gesendeten E-Mails = 56 %.
• Minimal erkennbarer Effekt (MDE) – die minimale Effektgröße, die Sie erkennen möchten. Wird in absoluten (Einheiten) oder relativen (%) Werten angegeben. Für Konversionsraten sind relative Werte vorzuziehen.
• Statistische Power (1-β) – die Wahrscheinlichkeit, einen realen Effekt zu erkennen (Standard ist 80 %). Ein höherer Wert erfordert eine größere Stichprobengröße.
• Signifikanzniveau (α) – die Wahrscheinlichkeit eines Fehlers 1. Art (falsch positiv, Standard ist 5 %).

Ein Diagramm in der Oberfläche zeigt den Bereich der Effektgrößen, die die Hypothese bestätigen würden (graues Intervall von Basis + MDE).

Wie Parameter die Stichprobengröße beeinflussen

Die Anpassung der Einstellungen wirkt sich direkt auf den erforderlichen Datenumfang aus:

• Eine Erhöhung der Power von 80 % auf 90 % steigert die Stichprobengröße von 13.719 auf 18.372 pro Gruppe.
• Ein niedrigeres α (z. B. 1 %) erfordert einen noch größeren Umfang.
• Relativer MDE ist für prozentbasierte Metriken leichter zu interpretieren, während absoluter MDE besser für feste Änderungen geeignet ist.

| Parameter | Standardwert | Auswirkung auf Stichprobengröße |

|-----------|----------------|-----------------------|

| Power | 80 % | Basislinie |

| α | 5 % | Basislinie |

| Power 90 % | 90 % | +34 % |

| α 1 % | 1 % | +~100 % |

Nach der Berechnung bestimmen Sie die Testdauer: Stichprobengröße / durchschnittlicher täglicher Traffic. Budget: Stichprobengröße × Kosten pro Akquisition.

Praktische Empfehlungen zur Nutzung

• Fügen Sie eine 20 %ige Pufferreserve hinzu, um Nutzerabwanderung oder Traffic-Schwankungen zu berücksichtigen.
• Teilen Sie den Traffic 50/50 zwischen den Gruppen mit A/B-Testing-Plattformen (Optimizely, Google Optimize).
• Verwenden Sie für binäre Metriken (Konversion) relativen MDE.
• Validieren Sie Annahmen: Berücksichtigen Sie Saisonalität und Zielgruppensegmentierung.

Beispiel-Python-Code zur Überprüfung (mit statsmodels):

import statsmodels.stats.api as sms

effect_size = sms.proportion_effectsize(0.56, 0.56 * 1.03)
analysis = sms.NormalIndPower()
sample_size = analysis.solve_power(effect_size, power=0.8, alpha=0.05, ratio=1)
print(f"Stichprobengröße pro Gruppe: {sample_size:.0f}")

Ausgabe: ~13.719, übereinstimmend mit dem Rechner.

Wichtige Erkenntnisse

• Eine genaue Berechnung der Stichprobengröße reduziert die Wahrscheinlichkeit von Fehlern 1. und 2. Art.
• Standardparameter (80 % Power, 5 % α) balancieren Geschwindigkeit und Zuverlässigkeit.
• Eine 20 %ige Pufferreserve gleicht Datenverluste in der Praxis aus.
• Die Integration mit Code ermöglicht automatisierte Validierung.
• Traffic-Überlegungen bestimmen die tatsächliche Testdauer.

— Editorial Team