Plan e-mailexperimenten met een duidelijke hypothese, een zinvolle metric, een toereikende steekproef en een eerlijke interpretatie van onzekere resultaten.
Een A/B-test van een e-mail vergelijkt twee versies onder vergelijkbare omstandigheden. De waarde zit in de beslissing waarbij de test je helpt, niet in het winnaarslabel in een dashboard.
Begin met een vraag die zo specifiek is dat elke uitkomst je volgende e-mail zou veranderen. “Helpt een screenshot nieuwe gebruikers om hun set-up af te ronden?” is nuttig. “Welke e-mail is beter?” laat te veel open.
Gebruik een metric die dicht bij de reden voor de verzending ligt. Is activatie het doel, dan is een voltooide taak in het product nuttiger dan een opening. Voor een nieuwsbrief kan een relevante klik of een antwoord genoeg zijn. Houd klachten en afmeldingen bij als kosten, ook als ze niet je primaire metric zijn.
Leg de noemer vast. Klikken per bezorgde e-mail en klikken per opener beantwoorden verschillende vragen. Metrics op basis van openingen worden bovendien beïnvloed door privacyfuncties. Mail Privacy Protection van Apple kan bijvoorbeeld de externe content van een e-mail op de achtergrond laden, waardoor er een opening wordt geregistreerd voor een bericht dat niemand heeft gelezen. Schrijf de exacte berekening op voordat de test begint.
Onze gids over e-mailmetrics legt uit waar tracking je op het verkeerde been kan zetten.
Weet je niet waar je moet beginnen, werk deze lijst dan van boven naar beneden af. De elementen bovenaan bepalen of de lezer het bericht überhaupt wil. Een betere knop redt geen aanbod waar niemand op zit te wachten.
| Element | Wat een duidelijk resultaat je vertelt |
|---|---|
| Doelgroep of aanbod | Of deze groep wil wat je ze vraagt te doen. Test dit als eerste, want elk later element hangt ervan af. |
| Onderwerpregel | Welke invalshoek ervoor zorgt dat de juiste lezers openen en in actie komen. Beoordeel hem naast openingen ook op klikken of de vervolgactie. |
| Afzendernaam | Of lezers de afzendernaam herkennen en vertrouwen, bijvoorbeeld de naam van een persoon tegenover de bedrijfsnaam. |
| Previewtekst | Of de regel na de onderwerpregel een reden geeft om te openen. Sommige e-mailclients korten die regel in of verbergen hem, dus het effect hangt af van de clients die je lezers gebruiken. |
| Tekst en plaats van de CTA | Of lezers begrijpen wat er na de klik gebeurt en de link vinden zonder ernaar te hoeven zoeken. |
| Lay-out | Of de opbouw lezers helpt de actie te bereiken. Een andere lay-out verandert veel dingen tegelijk, dus lees het resultaat als één pakket. |
| Verzendtijd | Wanneer deze doelgroep meestal reageert op dit soort berichten. Vergelijk over meer dan één verzending, want één dag kan een uitschieter zijn. |
Verzendtijd is de enige test waarbij de versies bewust op verschillende momenten uitgaan. Houd al het andere identiek, ook de manier waarop je de doelgroep verdeelt, en meet beide groepen over een even lange meetperiode.
Een hypothese benoemt de verandering, de doelgroep, de metric en de reden waarom je een verschil verwacht. Juist van die reden leer je. Valt het resultaat de andere kant op uit, dan weet je welke aanname je moet herzien.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Oftewel: als we voor [doelgroep] [deze verandering doorvoeren], dan zal [metric] [stijgen of dalen], omdat [reden]. Enkele voorbeelden:
Elk van deze hypotheses kan onjuist blijken, en ook dan leer je iets over je lezers. Een vage test als “probeer een nieuw sjabloon” leert je heel weinig, welke versie er ook wint.
Een klein verschil kan echt zijn, maar te klein om extra productiewerk te rechtvaardigen. Kies het kleinste effect dat je beslissing zou veranderen, schat de baselineratio in en bereken de steekproefgrootte met een vooraf vastgelegd betrouwbaarheidsniveau en onderscheidend vermogen (power).
Er bestaat geen universeel minimum, zoals 1.000 ontvangers. Een veelvoorkomende actie vraagt om een andere steekproef dan een zeldzame aankoop. Een test die een heel kleine uplift zoekt, heeft meer data nodig dan een test die een grote verandering zoekt.
Bij een kleine lijst is het misschien beter om een flinke verandering te testen over meerdere vergelijkbare verzendingen, of om kwalitatieve feedback te verzamelen, dan om één campagne in veel kleine groepjes op te splitsen. Herhaalde campagnes brengen verschillen in timing met zich mee, dus benoem die beperking als je het resultaat interpreteert.
Wijs ontvangers die in aanmerking komen willekeurig toe aan de versies. Houd de doelgroepregels, het verzendvenster en andere wezenlijke inhoud vergelijkbaar. Verander je de onderwerpregel, de lay-out, het aanbod en de landingspagina tegelijk, dan test je het hele pakket en kun je niet zeggen welk onderdeel het verschil veroorzaakte.
Tel herhaalde verzendingen naar dezelfde persoon niet als onafhankelijke waarnemingen. Gaat het om uitkomsten op accountniveau, ga dan na of mensen binnen hetzelfde account elkaar kunnen beïnvloeden.
Kies een meetperiode die lang genoeg is om de beoogde actie te laten plaatsvinden. Kijk niet steeds tussentijds en stop niet bij de eerste gunstige schommeling, tenzij je statistische methode die aanpak uitdrukkelijk ondersteunt.
Stel dat de ene versie 24 aankopen oplevert en de andere 27. Die aantallen alleen wijzen nog geen winnaar aan. Je hebt de groepsgroottes nodig, de toewijzingsmethode en een interval rond het geschatte verschil.
Is het resultaat onbeslist, zeg dat dan. Houd de eenvoudigere versie, of gebruik wat je hebt geleerd om een sterkere volgende test op te zetten. Een test die een grote verbetering uitsluit, kan je nog steeds tijd besparen.
Leg de hypothese, de versies, de doelgroep, de steekproef, de datums, de metric, het resultaat en de volgende beslissing vast. Koppel dat verslag aan de campagne. Maak bij het beoordelen van onderwerpregels niet van één test een vaste regel voor elke doelgroep.
