SłownikTest A/B
Test A/B porównuje dwa warianty za pomocą zdefiniowanej metody, aby zrozumieć ich wpływ na wskaźnik. Należy ustalić przypisanie, wolumen, czas trwania i kryteria analizy. Różnica zaobserwowana w małej próbie może być wynikiem przypadku. Decyzja musi uwzględniać niepewność i skutki uboczne.
Konkretny przykład
Dwie losowo przydzielone grupy otrzymują różne tematy wiadomości e-mail o tej samej treści i w tym samym czasie. Wskaźnik decyzyjny jest ustalany przed wysłaniem.
Kwestia do rozważenia
Różnica zaobserwowana w małej próbie może być wynikiem przypadku. Należy unikać mnożenia wariantów i przerwać, gdy tylko wynik stanie się korzystny.
Zapisz decyzję przed rozpoczęciem testu
Określ populację, jednostkę dystrybucji, wskaźnik główny, oczekiwany czas trwania oraz skutki uboczne do monitorowania. Zachowaj wariant kontrolny i unikaj zmieniania wielu elementów, jeśli chcesz zrozumieć, który z nich ma wpływ. Udokumentuj wykluczenia przed analizą. Niepewny wynik wymaga ostrożnego wniosku; nie staje się on pozytywny poprzez retrospektywne wybranie segmentu, który wydaje się najbardziej korzystny.
Pytania do zespołu
- Czy test obejmuje czas potrzebny na wykonanie mierzonego działania?
- Czy reguły zatrzymywania i analizy zostały zdefiniowane przed sprawdzeniem wyników?
Podejmuj działania, aby skuteczniej iść naprzód.
Artykuły