GlossarioTest A/B
Un test A/B confronta due varianti utilizzando un metodo definito per comprenderne l'effetto su un indicatore. Devono essere stabiliti l'assegnazione, il volume, la durata e i criteri di analisi. Una differenza osservata in un piccolo campione potrebbe essere dovuta al caso. La decisione deve tenere conto dell'incertezza e degli effetti collaterali.
Un esempio concreto
Due gruppi assegnati casualmente ricevono oggetti di email diversi, con lo stesso contenuto e nello stesso momento. L'indicatore di decisione è fisso prima dell'invio.
Un punto da considerare
Una differenza osservata in un piccolo volume potrebbe essere dovuta al caso. Evitare di moltiplicare le varianti e interrompere non appena un risultato sembra favorevole.
Scrivere la decisione prima di avviare il test
Specifica la popolazione, l'unità di distribuzione, l'indicatore primario, la durata prevista e gli effetti negativi da monitorare. Mantieni una variante di controllo ed evita di modificare più elementi contemporaneamente se vuoi capire quale ha un effetto. Documenta le esclusioni prima dell'analisi. Un risultato incerto richiede una conclusione prudente; non diventa positivo selezionando a posteriori il segmento che sembra più favorevole.
Domande da porre al team
- Il test copre il tempo necessario per l'azione misurata?
- Sono state definite le regole di arresto e analisi prima di esaminare i risultati?
Misura per andare avanti in modo più efficace.
Articoli