Planera experiment med mejl utifrån en tydlig hypotes, ett meningsfullt mått, ett tillräckligt stort urval och en ärlig tolkning av osäkra resultat.
Ett A/B-test av ett mejl jämför två versioner under liknande förhållanden. Värdet ligger i beslutet som testet hjälper dig att fatta, inte i vinnaretiketten som en översikt visar.
Börja med en fråga som är så specifik att båda utfallen skulle förändra ditt nästa mejl. ”Hjälper en skärmbild nya användare att slutföra konfigurationen?” är en användbar fråga. ”Vilket mejl är bäst?” lämnar för mycket odefinierat.
Använd ett mått som ligger nära anledningen till utskicket. Om målet är aktivering säger en slutförd uppgift i produkten mer än en öppning. För ett nyhetsbrev kan ett relevant klick eller svar räcka. Följ klagomål och avregistreringar som kostnader, även om de inte är det primära måttet.
Definiera nämnaren. Klick per levererat mejl och klick per person som har öppnat mejlet besvarar olika frågor. Öppningsbaserade mått påverkas dessutom av integritetsfunktioner. Apples Mail Privacy Protection kan till exempel läsa in ett mejls externa innehåll i bakgrunden, så att en öppning registreras för ett meddelande som ingen har läst. Skriv ned den exakta beräkningen innan testet börjar.
Vår guide om e-postmått förklarar var spårningen kan vilseleda dig.
Om du inte vet var du ska börja kan du gå igenom listan uppifrån och ned. Elementen högst upp avgör om läsaren över huvud taget vill ha meddelandet. En bättre knapp räddar inte ett erbjudande som ingen vill ha.
| Element | Vad ett tydligt resultat säger dig |
|---|---|
| Målgrupp eller erbjudande | Om den här gruppen vill göra det du ber dem om. Testa det först, eftersom alla senare element beror på det. |
| Ämnesrad | Vilken vinkel som får rätt läsare att öppna och agera. Bedöm den utifrån klick eller den efterföljande handlingen, och inte bara utifrån öppningar. |
| Avsändarnamn | Om läsarna känner igen och litar på avsändarnamnet, till exempel en namngiven person jämfört med företagets namn. |
| Förhandsvisningstext | Om raden som visas efter ämnesraden ger ett skäl att öppna. Vissa e-postklienter kortar ned eller döljer den, så effekten beror på vilka klienter dina läsare använder. |
| CTA:ns text och placering | Om läsarna förstår vad som händer efter klicket och hittar länken utan att behöva leta efter den. |
| Layout | Om strukturen hjälper läsarna att nå fram till handlingen. En ändrad layout påverkar många saker på en gång, så tolka resultatet som en helhet. |
| Utskickstid | När den här målgruppen brukar agera på den här typen av meddelande. Jämför över fler än ett utskick, eftersom en enskild dag kan vara ovanlig. |
Utskickstid är det enda testet där versionerna avsiktligt skickas vid olika tidpunkter. Håll allt annat identiskt, även hur du delar upp målgruppen, och mät båda grupperna under lika långa perioder.
En hypotes anger förändringen, målgruppen, måttet och skälet till att du förväntar dig en skillnad. Det är skälet du lär dig av. Om resultatet blir det motsatta vet du vilket antagande du ska ifrågasätta.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Några exempel:
Vilken som helst av hypoteserna kan slå fel, och ett misslyckat test lär dig ändå något om dina läsare. Ett vagt test som ”prova en ny mall” lär dig väldigt lite, oavsett vilken version som vinner.
En liten förändring kan vara verklig men för liten för att motivera extra produktionsarbete. Välj den minsta effekt som skulle ändra ditt beslut, uppskatta baslinjen och beräkna urvalsstorleken med en angiven konfidensnivå och statistisk styrka.
Det finns inget universellt minimum, som 1 000 mottagare. En vanlig handling kräver ett annat urval än ett sällsynt köp. Ett test som letar efter ett mycket litet lyft behöver mer data än ett som letar efter en stor förändring.
För en liten lista kan det vara bättre att testa en större förändring över flera jämförbara utskick, eller att samla in kvalitativ feedback, än att dela upp en kampanj i många små grupper. Upprepade kampanjer för med sig skillnader i timing, så beskriv den begränsningen när du tolkar resultatet.
Fördela de nåbara mottagarna slumpmässigt mellan versionerna. Håll målgruppsreglerna, leveransfönstret och annat väsentligt innehåll jämförbart. Om du ändrar ämnesrad, layout, erbjudande och landningssida samtidigt testar du hela paketet och kan inte säga vilken del som orsakade skillnaden.
Undvik att räkna upprepade utskick till samma person som oberoende observationer. För utfall på kontonivå bör du fundera på om personer inom samma konto kan påverka varandra.
Välj en observationsperiod som ger den avsedda handlingen tid att ske. Kika inte på resultatet gång på gång och stoppa testet vid den första gynnsamma svängningen, om inte din statistiska metod uttryckligen stöder det arbetssättet.
Säg att en version ger 24 köp och den andra 27. De siffrorna räcker inte för att utse en vinnare. Du behöver gruppstorlekarna, fördelningsmetoden och ett intervall kring den uppskattade skillnaden.
Om resultatet är oavgjort ska du säga det. Behåll den enklare versionen, eller använd det du har lärt dig för att utforma ett starkare nästa test. Ett test som utesluter en stor förbättring kan ändå spara tid åt dig.
Dokumentera hypotesen, versionerna, målgruppen, urvalet, datumen, måttet, resultatet och nästa beslut. Länka dokumentationen till kampanjen. När du ser över ämnesrader, motstå frestelsen att göra ett enskilt test till en permanent regel för alla målgrupper.
