Plánuj e-mailové A/B testy s jasnou hypotézou, smysluplnou metrikou, dostatečným vzorkem a poctivým výkladem nejistých výsledků.
A/B test e-mailu porovnává dvě verze za podobných podmínek. Jeho hodnota je v rozhodnutí, se kterým ti pomůže, ne v odznaku vítěze v přehledu.
Začni otázkou natolik konkrétní, že by kterýkoli výsledek změnil tvůj další e-mail. „Pomůže snímek obrazovky novým uživatelům dokončit nastavení?“ je užitečná otázka. „Který e-mail je lepší?“ nechává příliš mnoho nevyjasněného.
Použij metriku, která má blízko k důvodu, proč e-mail posíláš. Pokud je cílem aktivace, dokončený úkol v produktu ti řekne víc než otevření. U newsletteru může stačit relevantní proklik nebo odpověď. Stížnosti a odhlášení sleduj jako náklady, i když nejsou hlavní metrikou.
Urči jmenovatele. Prokliky vztažené k doručeným e-mailům a prokliky vztažené k příjemcům, kteří e-mail otevřeli, odpovídají na různé otázky. Na metriky založené na otevřeních mají navíc vliv funkce na ochranu soukromí. Například funkce Mail Privacy Protection v Apple Mail umí načíst vzdálený obsah e-mailu na pozadí, takže se otevření může zaznamenat i u zprávy, kterou nikdo nečetl. Přesný výpočet si zapiš ještě před začátkem testu.
Kde tě může měření zmást, vysvětluje náš průvodce e-mailovými metrikami.
Pokud nevíš, kde začít, postupuj tímto seznamem shora dolů. Prvky nahoře rozhodují o tom, jestli má čtenář o zprávu vůbec zájem. Lepší tlačítko nezachrání nabídku, o kterou nikdo nestojí.
| Prvek | Co ti jasný výsledek řekne |
|---|---|
| Publikum nebo nabídka | Jestli tahle skupina chce to, k čemu ji vybízíš. Testuj to jako první, protože na tom závisí všechny další prvky. |
| Předmět | Jaké podání přiměje ty správné čtenáře e-mail otevřít a jednat. Hodnoť ho nejen podle otevření, ale i podle prokliků nebo navazující akce. |
| Jméno odesílatele | Jestli čtenáři jméno odesílatele poznají a důvěřují mu, třeba když porovnáš jméno konkrétního člověka s názvem firmy. |
| Náhledový text | Jestli řádek zobrazený za předmětem dává důvod e-mail otevřít. Někteří e-mailoví klienti ho zkracují nebo skrývají, takže efekt závisí na tom, jaké klienty tvoji čtenáři používají. |
| Text a umístění CTA | Jestli čtenáři chápou, co se po kliknutí stane, a jestli odkaz najdou, aniž by ho museli hledat. |
| Rozvržení | Jestli struktura pomáhá čtenářům dostat se k akci. Změna rozvržení mění spoustu věcí najednou, takže výsledek ber jako celek. |
| Čas odeslání | Kdy toto publikum na tento typ zprávy obvykle reaguje. Porovnávej víc než jednu rozesílku, protože jediný den může být neobvyklý. |
Čas odeslání je jediný test, u kterého verze odcházejí v různou dobu záměrně. Všechno ostatní nech stejné, včetně toho, jak publikum rozdělíš, a obě skupiny měř po stejně dlouhé období.
Hypotéza pojmenuje změnu, publikum, metriku a důvod, proč čekáš rozdíl. Nejvíc se poučíš právě ze zdůvodnění. Když výsledek dopadne opačně, ukáže ti, který předpoklad je potřeba zpochybnit.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Neboli: když pro [publikum] provedeme [změnu], [metrika] [vzroste, nebo klesne], protože [důvod]. Několik příkladů:
Kterákoli z těchto hypotéz může selhat, a i neúspěch tě o tvých čtenářích něco naučí. Vágní test typu „zkusíme novou šablonu“ tě naučí jen velmi málo, ať vyhraje kterákoli verze.
Malá změna může být skutečná, a přesto příliš malá na to, aby vyvážila práci navíc s přípravou e-mailů. Zvol nejmenší efekt, který by změnil tvé rozhodnutí, odhadni výchozí míru a velikost vzorku spočítej s uvedenou hladinou spolehlivosti a statistickou silou.
Neexistuje žádné univerzální minimum, třeba 1 000 příjemců. Běžná akce potřebuje jiný vzorek než vzácný nákup. Test, který hledá velmi malý nárůst, potřebuje víc dat než test, který hledá velkou změnu.
U malého seznamu kontaktů může být lepší otestovat výraznou změnu v několika srovnatelných rozesílkách nebo sbírat kvalitativní zpětnou vazbu, než rozdělit jednu kampaň do mnoha malinkých skupin. Opakované kampaně přinášejí rozdíly v načasování, takže toto omezení při výkladu výsledku zmiň.
Příjemce, kteří splňují podmínky, přiřazuj k verzím náhodně. Pravidla publika, okno doručení i další podstatný obsah drž srovnatelné. Pokud změníš předmět, rozvržení, nabídku i vstupní stránku najednou, testuješ celý balíček a nemůžeš říct, která část rozdíl způsobila.
Opakované rozesílky stejnému člověku nepočítej jako nezávislá pozorování. U výsledků, které se měří na úrovni účtu, zvaž, jestli se lidé ze stejného účtu nemůžou navzájem ovlivňovat.
Nastav období pozorování tak, aby zamýšlená akce stihla proběhnout. Neprohlížej si průběžné výsledky pořád dokola a nezastavuj test při prvním příznivém výkyvu, pokud to tvoje statistická metoda výslovně nepodporuje.
Řekněme, že jedna verze přinese 24 nákupů a druhá 27. Samotné tyto počty vítěze neurčují. Potřebuješ velikosti skupin, způsob přiřazení a interval kolem odhadovaného rozdílu.
Pokud je výsledek neprůkazný, řekni to. Ponech jednodušší verzi, nebo z nových poznatků vyjdi při návrhu silnějšího dalšího testu. I test, který vyloučí velké zlepšení, ti může ušetřit čas.
Zapiš si hypotézu, verze, publikum, vzorek, termíny, metriku, výsledek a další rozhodnutí. Záznam propoj s kampaní. Až budeš procházet předměty e-mailů, odolej pokušení udělat z jediného testu trvalé pravidlo pro všechna publika.
