GlossárioTeste A/B
Um teste A/B compara duas variantes usando um método definido para entender seu efeito em um indicador. A atribuição, o volume, a duração e os critérios de análise devem ser estabelecidos. Uma diferença observada em uma pequena amostra pode ser devida ao acaso. A decisão deve levar em consideração a incerteza e os efeitos colaterais.
Um exemplo concreto
Dois grupos atribuídos aleatoriamente recebem linhas de assunto de e-mail diferentes, com o mesmo conteúdo e ao mesmo tempo. O indicador de decisão é fixado antes do envio.
Um ponto a considerar
Uma diferença observada em um pequeno volume pode ser devida ao acaso. Evite multiplicar as variantes e pare assim que um resultado parecer favorável.
Escreva a decisão antes de iniciar o teste
Especifique a população, a unidade de distribuição, o indicador principal, a duração esperada e os efeitos adversos a serem monitorados. Mantenha uma variante de controle e evite alterar vários elementos se quiser entender qual deles está tendo efeito. Documente as exclusões antes da análise. Um resultado incerto exige uma conclusão cautelosa; ele não se torna positivo simplesmente selecionando retrospectivamente o segmento que parece mais favorável.
Perguntas para sua equipe
- O teste abrange o tempo necessário para a ação medida?
- As regras de interrupção e análise foram definidas antes da revisão dos resultados?
Meça para avançar com mais eficácia.
Artigos