WoordenlijstA/B-test
Een A/B-test vergelijkt twee varianten met behulp van een gedefinieerde methode om hun effect op een indicator te begrijpen. Toewijzing, volume, duur en analysecriteria moeten worden vastgesteld. Een verschil dat in een kleine steekproef wordt waargenomen, kan aan toeval te wijten zijn. Bij de beslissing moet rekening worden gehouden met onzekerheid en neveneffecten.
Een concreet voorbeeld
Twee willekeurig toegewezen groepen ontvangen verschillende onderwerpregels voor e-mails, met dezelfde inhoud en op hetzelfde tijdstip. De beslissingsindicator wordt vastgelegd vóór verzending.
Een punt om te overwegen
Een verschil dat in een klein volume wordt waargenomen, kan aan toeval te wijten zijn. Vermijd het vermenigvuldigen van de varianten en stop zodra een resultaat gunstig lijkt.
Schrijf de beslissing op voordat de test wordt gestart
Specificeer de populatie, de distributie-eenheid, de primaire indicator, de verwachte duur en de negatieve effecten die moeten worden gemonitord. Houd een controlevariant aan en vermijd het wijzigen van meerdere elementen als u wilt begrijpen welk element effect heeft. Documenteer uitsluitingen vóór de analyse. Een onzeker resultaat vraagt om een voorzichtige conclusie; het wordt niet positief door achteraf het segment te selecteren dat het meest gunstig lijkt.
Vragen om aan je team te stellen
- Dekt de test de tijd die nodig is voor de gemeten actie?
- Zijn stop- en analyseregels gedefinieerd vóór het beoordelen van de resultaten?
Meet om effectiever vooruit te komen.
Artikelen