GlossarA/B-Test
Ein A/B-Test vergleicht zwei Varianten anhand einer definierten Methode, um deren Einfluss auf einen Indikator zu ermitteln. Zuweisung, Umfang, Dauer und Analysekriterien müssen festgelegt werden. Ein in einer kleinen Stichprobe beobachteter Unterschied kann zufällig sein. Unsicherheiten und Nebenwirkungen müssen bei der Entscheidung berücksichtigt werden.
Ein konkretes Beispiel
Zwei zufällig zugewiesene Gruppen erhalten gleichzeitig E-Mails mit unterschiedlichen Betreffzeilen, aber gleichem Inhalt. Der Entscheidungsindikator wird vor dem Versand festgelegt.
Ein wichtiger Punkt
Ein in einem kleinen Umfang beobachteter Unterschied kann zufällig sein. Vermeiden Sie es, die Varianten zu vervielfachen, und beenden Sie den Test, sobald ein Ergebnis vielversprechend erscheint.
Die Entscheidung vor dem Teststart formulieren
Geben Sie die Population, die Verteilungseinheit, den primären Endpunkt, die erwartete Dauer und die zu überwachenden Nebenwirkungen an. Halten Sie eine Kontrollvariante bereit und vermeiden Sie die gleichzeitige Änderung mehrerer Elemente, wenn Sie den aktiven Faktor ermitteln möchten. Dokumentieren Sie Ausschlusskriterien vor der Analyse. Ein unsicheres Ergebnis erfordert eine vorsichtige Schlussfolgerung; es wird nicht positiv, indem man nachträglich das Segment auswählt, das am günstigsten erscheint.
Fragen an Ihr Team
- Beinhaltet der Test die für die gemessene Aktion benötigte Zeit?
- Wurden die Abbruch- und Analyseregeln vor der Auswertung der Ergebnisse festgelegt?
Messen Sie, um effektiver voranzukommen.
Artikel