Trasforma le email in fatturato con Brew.
Pianifica i test sulle email con un’ipotesi chiara, una metrica significativa, un campione adeguato e una lettura onesta dei risultati incerti.
Un test A/B sulle email confronta due versioni in condizioni simili. Il suo valore sta nella decisione che ti aiuta a prendere, non nel badge del vincitore in una dashboard.
Parti da una domanda abbastanza specifica da far sì che qualsiasi risultato cambi la tua prossima email. “Uno screenshot aiuta i nuovi utenti a completare la configurazione?” è una domanda utile. “Quale email è migliore?” lascia troppe cose indefinite.
Usa una metrica vicina al motivo dell’invio. Se l’obiettivo è l’attivazione, un’attività completata nel prodotto è più utile di un’apertura. Per una newsletter può bastare un clic pertinente o una risposta. Tieni traccia di segnalazioni di spam e disiscrizioni come costi, anche se non sono la metrica principale.
Definisci il denominatore. I clic per email consegnata e i clic per persona che ha aperto rispondono a domande diverse. Le metriche basate sulle aperture risentono anche delle funzioni di privacy. La funzione Mail Privacy Protection di Apple, per esempio, può caricare in background i contenuti remoti di un’email, quindi può venire registrata un’apertura per un messaggio che nessuno ha letto. Metti per iscritto il calcolo esatto prima che il test inizi.
La nostra guida alle metriche email spiega dove il tracciamento può trarti in inganno.
Se non sai da dove cominciare, scorri questo elenco dall’alto verso il basso. Gli elementi in cima decidono se il lettore vuole davvero il messaggio. Un pulsante migliore non salverà un’offerta che nessuno vuole.
| Elemento | Cosa ti dice un risultato chiaro |
|---|---|
| Pubblico o offerta | Se questo gruppo vuole fare ciò che gli chiedi. Testalo per primo, perché tutti gli elementi successivi dipendono da questo. |
| Oggetto | Quale impostazione spinge i lettori giusti ad aprire e ad agire. Valutalo sui clic o sull’azione a valle, oltre che sulle aperture. |
| Nome del mittente | Se i lettori riconoscono il nome del mittente e se ne fidano, per esempio il nome di una persona rispetto al nome dell’azienda. |
| Testo di anteprima | Se la riga che compare dopo l’oggetto dà un motivo per aprire. Alcuni client di posta la accorciano o la nascondono, quindi l’effetto dipende dai client usati dai tuoi lettori. |
| Testo e posizione della CTA | Se i lettori capiscono cosa succede dopo il clic e trovano il link senza doverlo cercare. |
| Layout | Se la struttura aiuta i lettori ad arrivare all’azione. Un cambio di layout modifica molte cose insieme, quindi leggi il risultato come un pacchetto unico. |
| Orario di invio | Quando questo pubblico tende ad agire su questo tipo di messaggio. Confronta più di un invio, perché un singolo giorno può essere anomalo. |
L’orario di invio è l’unico test in cui le versioni partono, per definizione, in momenti diversi. Mantieni identico tutto il resto, compreso il modo in cui dividi il pubblico, e misura entrambi i gruppi su una finestra della stessa durata.
Un’ipotesi indica la modifica, il pubblico, la metrica e il motivo per cui ti aspetti una differenza. Il motivo è la parte da cui impari. Se il risultato va nella direzione opposta, ti dice quale presupposto mettere in discussione.
If we [change] for [audience], [metric] will [rise or fall] because [reason].In altre parole: se facciamo [una certa modifica] per [un certo pubblico], [una certa metrica] [salirà o scenderà] perché [un certo motivo]. Alcuni esempi:
Ognuna di queste ipotesi potrebbe rivelarsi sbagliata, e anche un fallimento ti insegna qualcosa sui tuoi lettori. Un test vago come “prova un nuovo modello” ti insegna ben poco, qualunque versione vinca.
Una piccola variazione può essere reale ma troppo piccola per giustificare altro lavoro di produzione. Scegli l’effetto minimo che cambierebbe la tua decisione, stima il tasso di base e calcola la dimensione del campione con un livello di confidenza e una potenza statistica dichiarati.
Non esiste un minimo universale come 1.000 destinatari. Un’azione frequente richiede un campione diverso da un acquisto raro. Un test che cerca un incremento molto piccolo ha bisogno di più dati di uno che cerca un grande cambiamento.
Con una lista piccola, può essere meglio testare un cambiamento sostanziale su diversi invii confrontabili, o raccogliere feedback qualitativi, piuttosto che dividere una campagna in tanti gruppi minuscoli. Le campagne ripetute introducono differenze di tempistica, quindi descrivi questo limite quando interpreti il risultato.
Assegna in modo casuale i destinatari idonei alle versioni. Mantieni confrontabili le regole del pubblico, la finestra di consegna e gli altri contenuti rilevanti. Se cambi insieme oggetto, layout, offerta e landing page, stai testando il pacchetto completo e non puoi dire quale parte abbia causato la differenza.
Evita di contare come osservazioni indipendenti gli invii ripetuti alla stessa persona. Per i risultati a livello di account, valuta se le persone dello stesso account possano influenzarsi a vicenda.
Imposta una finestra di osservazione che lasci all’azione prevista il tempo di avvenire. Non controllare di continuo i risultati per fermarti alla prima oscillazione favorevole, a meno che il tuo metodo statistico non preveda esplicitamente questo approccio.
Supponi che una versione ottenga 24 acquisti e l’altra 27. Questi numeri, da soli, non stabiliscono un vincitore. Ti servono le dimensioni dei gruppi, il metodo di assegnazione e un intervallo attorno alla differenza stimata.
Se il risultato non è conclusivo, dillo. Tieni la versione più semplice o usa ciò che hai imparato per progettare un test successivo più solido. Un test che esclude un grande miglioramento può comunque farti risparmiare tempo.
Annota ipotesi, versioni, pubblico, campione, date, metrica, risultato e decisione successiva. Collega queste note alla campagna. Quando rivedi gli oggetti delle email, resisti alla tentazione di trasformare un singolo test in una regola permanente per ogni pubblico.
