Planeje testes A/B de e-mail com uma hipótese clara, uma métrica relevante, uma amostra adequada e uma leitura honesta dos resultados incertos.
Um teste A/B de e-mail compara duas versões em condições parecidas. O valor dele está na decisão que ele ajuda você a tomar, não no selo de vencedor em um painel.
Comece com uma pergunta específica o bastante para que qualquer um dos resultados mude o seu próximo e-mail. “Uma captura de tela ajuda novos usuários a concluir a configuração?” é uma pergunta útil. “Qual e-mail é melhor?” deixa coisas demais indefinidas.
Use uma métrica próxima do motivo do envio. Se o objetivo é a ativação, uma tarefa concluída no produto é mais útil do que uma abertura. Para uma newsletter, um clique relevante ou uma resposta podem bastar. Acompanhe as reclamações e os descadastros como custos, mesmo que não sejam a métrica principal.
Defina o denominador. Cliques por e-mail entregue e cliques por pessoa que abriu respondem a perguntas diferentes. As métricas baseadas em aberturas também sofrem o efeito dos recursos de privacidade. O Mail Privacy Protection da Apple, por exemplo, pode carregar o conteúdo remoto de um e-mail em segundo plano, e assim uma abertura pode ser registrada para uma mensagem que ninguém leu. Anote o cálculo exato antes de o teste começar.
O nosso guia de métricas de e-mail explica em que pontos o rastreamento pode enganar você.
Se você não sabe por onde começar, siga esta lista de cima para baixo. Os elementos do topo decidem se o leitor quer a mensagem, para começo de conversa. Um botão melhor não salva uma oferta que ninguém quer.
| Elemento | O que um resultado claro revela |
|---|---|
| Público ou oferta | Se este grupo quer fazer o que você está pedindo. Teste esse elemento primeiro, porque todos os seguintes dependem dele. |
| Linha de assunto | Qual abordagem leva os leitores certos a abrir e agir. Avalie pelos cliques ou pela ação posterior, além das aberturas. |
| Nome do remetente | Se os leitores reconhecem o nome do remetente e confiam nele, como o nome de uma pessoa em comparação com o nome da empresa. |
| Texto de pré-visualização | Se a linha exibida depois do assunto dá um motivo para abrir. Alguns clientes de e-mail encurtam ou escondem esse texto, então o efeito depende dos clientes que os seus leitores usam. |
| Texto e posição do CTA | Se os leitores entendem o que acontece depois do clique e encontram o link sem precisar procurá-lo. |
| Layout | Se a estrutura ajuda os leitores a chegar à ação. Uma mudança de layout altera muitas coisas ao mesmo tempo, então leia o resultado como um pacote. |
| Horário de envio | Quando este público costuma agir diante deste tipo de mensagem. Compare ao longo de mais de um envio, porque um único dia pode ser atípico. |
O horário de envio é o único teste em que as versões saem em horários diferentes de propósito. Mantenha todo o resto idêntico, inclusive a forma de dividir o público, e meça os dois grupos em janelas de mesma duração.
Uma hipótese define a mudança, o público, a métrica e o motivo pelo qual você espera uma diferença. É com o motivo que você aprende. Se o resultado for no sentido contrário, ele mostra qual suposição questionar.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Em outras palavras: se fizermos [tal mudança] para [tal público], [tal métrica] vai [subir ou cair] porque [tal motivo]. Alguns exemplos:
Qualquer uma delas pode falhar, e mesmo uma falha ensina algo sobre os seus leitores. Um teste vago, como “experimentar um modelo novo”, ensina muito pouco, seja qual for a versão vencedora.
Uma mudança pequena pode ser real, mas pequena demais para justificar trabalho extra de produção. Escolha o efeito mínimo que mudaria a sua decisão, estime a taxa de referência e calcule o tamanho da amostra com um nível de confiança e um poder estatístico definidos.
Não existe um mínimo universal, como 1.000 destinatários. Uma ação comum pede uma amostra diferente da de uma compra rara. Um teste que procura um ganho muito pequeno precisa de mais dados do que um que procura uma mudança grande.
Com uma lista pequena, pode ser melhor testar uma mudança significativa ao longo de vários envios comparáveis, ou coletar feedback qualitativo, do que dividir uma campanha em muitos grupos minúsculos. Campanhas repetidas acontecem em momentos diferentes, então mencione essa limitação ao interpretar o resultado.
Distribua os destinatários elegíveis entre as versões de forma aleatória. Mantenha comparáveis as regras de público, a janela de entrega e o restante do conteúdo relevante. Se você muda o assunto, o layout, a oferta e a landing page ao mesmo tempo, está testando o pacote inteiro e não tem como dizer qual parte causou a diferença.
Não conte envios repetidos para a mesma pessoa como observações independentes. Para resultados no nível da conta, considere se pessoas da mesma conta podem influenciar umas às outras.
Defina uma janela de observação que dê tempo para a ação pretendida acontecer. Não fique espiando os resultados a toda hora para parar na primeira oscilação favorável, a menos que o seu método estatístico permita explicitamente essa abordagem.
Suponha que uma versão gere 24 compras e a outra, 27. Esses números, sozinhos, não definem um vencedor. Você precisa do tamanho dos grupos, do método de distribuição e de um intervalo em torno da diferença estimada.
Se o resultado for inconclusivo, diga isso. Fique com a versão mais simples ou use o que aprendeu para planejar um próximo teste mais robusto. Um teste que descarta uma grande melhora ainda pode poupar o seu tempo.
Registre a hipótese, as versões, o público, a amostra, as datas, a métrica, o resultado e a próxima decisão. Vincule esse registro à campanha. Ao revisar linhas de assunto, resista à tentação de transformar um único teste em regra permanente para todos os públicos.
