Zamieniaj e-maile w przychody dzięki Brew.
Planuj testy e-maili z jasną hipotezą, sensowną miarą, odpowiednio dużą próbą i uczciwą interpretacją niepewnych wyników.
Test A/B e-maila porównuje dwie wersje w podobnych warunkach. Jego wartość to decyzja, którą pomaga Ci podjąć, a nie plakietka zwycięzcy w panelu.
Zacznij od pytania na tyle konkretnego, że każdy wynik zmieni Twój następny e-mail. „Czy zrzut ekranu pomaga nowym użytkownikom dokończyć konfigurację?” to dobre pytanie. „Który e-mail jest lepszy?” zostawia zbyt wiele niedopowiedzeń.
Wybierz miarę bliską powodowi wysyłki. Jeśli celem jest aktywacja, wykonane zadanie w produkcie powie Ci więcej niż otwarcie. W przypadku newslettera może wystarczyć istotne kliknięcie albo odpowiedź. Śledź zgłoszenia spamu i wypisania jako koszty, nawet jeśli nie są główną miarą.
Określ mianownik. Kliknięcia na dostarczony e-mail i kliknięcia na osobę, która otworzyła wiadomość, odpowiadają na różne pytania. Na miary oparte na otwarciach wpływają też funkcje ochrony prywatności. Na przykład Mail Privacy Protection od Apple może wczytać zdalną zawartość e-maila w tle, więc otwarcie zostanie zarejestrowane także dla wiadomości, której nikt nie przeczytał. Zanim zaczniesz test, zapisz dokładny sposób obliczania.
Nasz poradnik o wskaźnikach wyjaśnia, gdzie śledzenie może wprowadzać w błąd.
Jeśli nie wiesz, od czego zacząć, idź po kolei w dół tej listy. Elementy na górze decydują o tym, czy czytelnik w ogóle chce tej wiadomości. Lepszy przycisk nie uratuje oferty, której nikt nie chce.
| Element | Co mówi Ci jednoznaczny wynik |
|---|---|
| Odbiorcy lub oferta | Czy ta grupa chce zrobić to, o co ją prosisz. Testuj to w pierwszej kolejności, bo od tego zależy każdy kolejny element. |
| Temat | Jakie ujęcie skłania właściwych czytelników do otwarcia i działania. Oceniaj go nie tylko po otwarciach, ale też po kliknięciach lub dalszym działaniu. |
| Nazwa nadawcy | Czy czytelnicy rozpoznają nazwę nadawcy i jej ufają, np. imię i nazwisko konkretnej osoby w porównaniu z nazwą firmy. |
| Tekst podglądu | Czy wiersz wyświetlany po temacie daje powód do otwarcia. Niektóre programy pocztowe go skracają lub ukrywają, więc efekt zależy od tego, z których programów korzystają Twoi czytelnicy. |
| Tekst i umiejscowienie CTA | Czy czytelnicy rozumieją, co się stanie po kliknięciu, i znajdują link bez szukania. |
| Układ | Czy struktura pomaga czytelnikom dotrzeć do działania. Zmiana układu zmienia wiele rzeczy naraz, więc wynik oceniaj jako całość. |
| Czas wysyłki | Kiedy ci odbiorcy zwykle reagują na tego rodzaju wiadomość. Porównuj więcej niż jedną wysyłkę, bo pojedynczy dzień może być nietypowy. |
Czas wysyłki to jedyny test, w którym wersje z założenia wychodzą o różnych porach. Wszystko inne zostaw bez zmian, łącznie ze sposobem podziału odbiorców, i mierz obie grupy w oknie o tej samej długości.
Hipoteza określa zmianę, odbiorców, miarę i powód, dla którego spodziewasz się różnicy. Najwięcej uczy właśnie powód: jeśli wynik okaże się odwrotny, podpowie Ci, które założenie zakwestionować. Po polsku poniższy schemat brzmi: „Jeśli [wprowadzimy zmianę] dla [odbiorców], [miara] [wzrośnie lub spadnie], ponieważ [powód]”.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Kilka przykładów:
Każda z tych hipotez może się nie sprawdzić, a porażka i tak czegoś Cię nauczy o czytelnikach. Ogólnikowy test w rodzaju „wypróbujmy nowy szablon” nauczy Cię bardzo niewiele, niezależnie od tego, która wersja wygra.
Niewielka zmiana może być realna, ale zbyt mała, by uzasadnić dodatkową pracę nad e-mailem. Wybierz minimalny efekt, który zmieniłby Twoją decyzję, oszacuj bazowy wskaźnik i oblicz wielkość próby przy określonym poziomie ufności i mocy testu.
Nie ma uniwersalnego minimum w rodzaju 1000 odbiorców. Częste działanie wymaga innej próby niż rzadki zakup. Test, który ma wykryć bardzo mały wzrost, potrzebuje więcej danych niż test szukający dużej zmiany.
Przy małej liście lepiej czasem przetestować wyraźną zmianę na kilku porównywalnych wysyłkach albo zebrać opinie jakościowe, niż dzielić jedną kampanię na wiele drobnych grup. Powtarzane kampanie wprowadzają różnice wynikające z czasu wysyłki, więc interpretując wynik, opisz to ograniczenie.
Przydzielaj kwalifikujących się odbiorców do wersji losowo. Reguły doboru odbiorców, okno dostarczania i pozostała istotna treść powinny być porównywalne. Jeśli zmienisz jednocześnie temat, układ, ofertę i stronę docelową, testujesz cały pakiet i nie powiesz, która część spowodowała różnicę.
Nie licz kolejnych wysyłek do tej samej osoby jako niezależnych obserwacji. Jeśli mierzysz wyniki na poziomie konta, zastanów się, czy osoby z tego samego konta mogą na siebie wpływać.
Ustal okno obserwacji, w którym zamierzone działanie zdąży nastąpić. Nie zaglądaj co chwilę do wyników i nie przerywaj testu przy pierwszym korzystnym wahnięciu, chyba że Twoja metoda statystyczna wprost na to pozwala.
Załóżmy, że jedna wersja przynosi 24 zakupy, a druga 27. Same te liczby nie wyłaniają zwycięzcy. Potrzebujesz wielkości grup, metody przydziału i przedziału ufności wokół oszacowanej różnicy.
Jeśli wynik niczego nie rozstrzyga, powiedz to wprost. Zostaw prostszą wersję albo wykorzystaj zdobytą wiedzę, żeby zaprojektować mocniejszy kolejny test. Test, który wyklucza dużą poprawę, też może zaoszczędzić Ci czas.
Zapisz hipotezę, wersje, odbiorców, próbę, daty, miarę, wynik i następną decyzję. Powiąż ten zapis z kampanią. Analizując tematy e-maili, nie zamieniaj pojedynczego testu w stałą regułę dla wszystkich odbiorców.
