Calculateur Evan Miller pour les tests A/B

Calcul de la taille d'échantillon pour les tests A/B : le calculateur d'Evan Miller

Le calculateur d'Evan Miller permet de déterminer avec précision la taille d'échantillon nécessaire pour les tests A/B, minimisant le risque d'erreurs et optimisant les ressources. L'outil prend en compte le taux de conversion de base, l'effet attendu, la puissance statistique et le niveau de significativité, et fournit le nombre d'observations requis pour les groupes A et B.

Un calcul approprié évite de sous-estimer la taille d'échantillon, ce qui entraîne une forte variabilité, ou de gaspiller des ressources sur un volume de données excessif. Par exemple : avec un taux de conversion de base de 56 % et un objectif de l'augmenter de 3 %, environ 13 719 utilisateurs par groupe sont nécessaires avec des paramètres standards (puissance de 80 %, α=5 %). Une marge de 20 % est recommandée, portant le total à 16 463 par groupe.

Paramètres de calcul dans le calculateur

L'outil nécessite la saisie séquentielle de métriques clés :

• Taux de conversion de base — le taux de conversion actuel. Calculé comme (événements réussis / total des événements). Exemple : 280 000 vues sur 500 000 e-mails envoyés = 56 %.
• Effet minimum détectable (MDE) — la taille d'effet minimale que vous souhaitez détecter. Spécifiée en valeurs absolues (unités) ou relatives (%). Pour les taux de conversion, les valeurs relatives sont préférées.
• Puissance statistique (1-β) — la probabilité de détecter un effet réel (standard de 80 %). Une valeur plus élevée nécessite une taille d'échantillon plus grande.
• Niveau de significativité (α) — la probabilité d'une erreur de type I (faux positif, standard de 5 %).

Un graphique dans l'interface montre la plage des tailles d'effet qui confirmeraient l'hypothèse (intervalle gris à partir de la base + MDE).

Impact des paramètres sur la taille d'échantillon

L'ajustement des paramètres affecte directement le volume de données requis :

• Augmenter la puissance de 80 % à 90 % augmente la taille d'échantillon de 13 719 à 18 372 par groupe.
• Un α plus faible (par exemple, 1 %) nécessite un volume encore plus important.
• Le MDE relatif est plus facile à interpréter pour les métriques en pourcentage, tandis que le MDE absolu est préférable pour les changements fixes.

| Paramètre | Valeur standard | Effet sur la taille d'échantillon |

|-----------|----------------|-----------------------------------|

| Puissance | 80 % | Base |

| α | 5 % | Base |

| Puissance 90 % | 90 % | +34 % |

| α 1 % | 1 % | +~100 % |

Après calcul, déterminez la durée du test : taille d'échantillon / trafic quotidien moyen. Budget : taille d'échantillon × coût par acquisition.

Recommandations pratiques d'utilisation

• Ajoutez une marge de 20 % pour tenir compte de l'attrition des utilisateurs ou des fluctuations du trafic.
• Répartissez le trafic 50/50 entre les groupes à l'aide de plateformes de test A/B (Optimizely, Google Optimize).
• Pour les métriques binaires (conversion), utilisez le MDE relatif.
• Validez les hypothèses : considérez la saisonnalité et la segmentation de l'audience.

Exemple de code Python pour vérification (avec statsmodels) :

import statsmodels.stats.api as sms

effect_size = sms.proportion_effectsize(0.56, 0.56 * 1.03)
analysis = sms.NormalIndPower()
sample_size = analysis.solve_power(effect_size, power=0.8, alpha=0.05, ratio=1)
print(f"Taille d'échantillon par groupe : {sample_size:.0f}")

Résultat : ~13 719, correspondant au calculateur.

Points clés à retenir

• Un calcul précis de la taille d'échantillon réduit la probabilité d'erreurs de type I et de type II.
• Les paramètres standards (puissance de 80 %, α de 5 %) équilibrent vitesse et fiabilité.
• Une marge de 20 % compense les pertes de données en conditions réelles.
• L'intégration avec du code permet une validation automatisée.
• Les considérations de trafic déterminent la durée réelle du test.

— Editorial Team