GlossaireTest A/B
Un test A/B compare deux variantes selon une méthode définie pour comprendre leur effet sur un indicateur. L’affectation, le volume, la durée et les critères d’analyse doivent être établis. Une différence observée sur un faible échantillon peut venir du hasard. La décision doit prendre en compte l’incertitude et les effets secondaires.
Un exemple concret
Deux groupes répartis aléatoirement reçoivent des objets d’email différents, avec le même contenu et la même période. L’indicateur de décision est fixé avant l’envoi.
Le point de vigilance
Un écart observé sur un petit volume peut être dû au hasard. Évitez de multiplier les variantes et d’arrêter dès qu’un résultat semble favorable.
Écrire la décision avant de lancer le test
Précisez la population, l’unité de répartition, l’indicateur principal, la durée prévue et les effets indésirables à surveiller. Gardez une variante témoin et évitez de changer plusieurs éléments si vous souhaitez comprendre lequel agit. Documentez les exclusions avant l’analyse. Un résultat incertain appelle une conclusion prudente ; il ne devient pas positif en sélectionnant après coup le segment qui paraît le plus favorable.
Les questions à poser à votre équipe
- Le test couvre-t-il le délai nécessaire à l’action mesurée ?
- Les règles d’arrêt et d’analyse ont-elles été fixées avant de regarder les résultats ?
Mesurer pour mieux avancer.
Articles