Plane E-Mail-Tests mit klarer Hypothese, aussagekräftiger Kennzahl und ausreichender Stichprobe, und deute unsichere Ergebnisse ehrlich.
Ein A/B-Test für E-Mails vergleicht zwei Versionen unter ähnlichen Bedingungen. Sein Wert liegt in der Entscheidung, bei der er dir hilft, nicht im Gewinner-Badge in einem Dashboard.
Fang mit einer Frage an, die so konkret ist, dass jedes der beiden möglichen Ergebnisse deine nächste E-Mail verändern würde. „Hilft ein Screenshot neuen Nutzern, die Einrichtung abzuschließen?“ ist nützlich. „Welche E-Mail ist besser?“ lässt zu viel offen.
Nimm eine Kennzahl, die nah am Grund für den Versand liegt. Wenn das Ziel die Aktivierung ist, sagt eine erledigte Aufgabe im Produkt mehr als eine Öffnung. Bei einem Newsletter kann ein relevanter Klick oder eine Antwort genügen. Erfasse Beschwerden und Abmeldungen als Kosten, auch wenn sie nicht die Hauptkennzahl sind.
Leg den Nenner fest. Klicks pro zugestellter E-Mail und Klicks pro Öffner beantworten unterschiedliche Fragen. Kennzahlen auf Basis von Öffnungen werden außerdem von Datenschutzfunktionen beeinflusst. Apples Funktion „Mail-Aktivität schützen“ (Mail Privacy Protection) kann zum Beispiel externe Inhalte einer E-Mail im Hintergrund laden, sodass eine Öffnung erfasst wird, obwohl niemand die Nachricht gelesen hat. Halte die genaue Berechnung fest, bevor der Test beginnt.
Unser Leitfaden zu E-Mail-Kennzahlen erklärt, wo dich das Tracking in die Irre führen kann.
Wenn du nicht sicher bist, wo du anfangen sollst, arbeite diese Liste von oben nach unten ab. Die Elemente weiter oben entscheiden, ob der Leser die Nachricht überhaupt haben will. Ein besserer Button rettet kein Angebot, das niemand will.
| Element | Was dir ein eindeutiges Ergebnis verrät |
|---|---|
| Zielgruppe oder Angebot | Ob diese Gruppe das tun will, worum du sie bittest. Teste das zuerst, denn jedes spätere Element hängt davon ab. |
| Betreffzeile | Welche Formulierung die richtigen Leser zum Öffnen und Handeln bringt. Bewerte sie nicht nur nach Öffnungen, sondern auch nach Klicks oder der Folgeaktion. |
| Absendername | Ob Leser den Absendernamen erkennen und ihm vertrauen, etwa eine namentlich genannte Person im Vergleich zum Firmennamen. |
| Vorschautext | Ob die Zeile, die nach dem Betreff angezeigt wird, einen Grund zum Öffnen liefert. Manche E-Mail-Clients kürzen sie oder blenden sie aus, der Effekt hängt also davon ab, welche Clients deine Leser nutzen. |
| CTA-Text und -Platzierung | Ob Leser verstehen, was nach dem Klick passiert, und den Link finden, ohne danach suchen zu müssen. |
| Layout | Ob die Struktur den Lesern hilft, zur Aktion zu gelangen. Eine Layoutänderung verändert vieles auf einmal, lies das Ergebnis also als Gesamtpaket. |
| Versandzeitpunkt | Wann diese Zielgruppe auf diese Art von Nachricht meist reagiert. Vergleiche über mehr als einen Versand, denn ein einzelner Tag kann ungewöhnlich sein. |
Der Versandzeitpunkt ist der einzige Test, bei dem die Versionen bewusst zu unterschiedlichen Zeiten rausgehen. Halte alles andere identisch, auch die Aufteilung der Zielgruppe, und miss beide Gruppen über ein gleich langes Zeitfenster.
Eine Hypothese nennt die Änderung, die Zielgruppe, die Kennzahl und die Begründung, warum du einen Unterschied erwartest. Aus der Begründung lernst du. Fällt das Ergebnis andersherum aus, zeigt sie dir, welche Annahme du hinterfragen solltest.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Einige Beispiele:
Jede dieser Hypothesen kann sich als falsch erweisen, und auch dann lernst du etwas über deine Leser. Ein vager Test wie „probier eine neue Vorlage aus“ verrät dir dagegen kaum etwas, egal welche Version gewinnt.
Ein kleiner Unterschied kann echt sein und trotzdem zu klein, um zusätzlichen Produktionsaufwand zu rechtfertigen. Wähle den kleinsten Effekt, der deine Entscheidung ändern würde, schätze die Ausgangsrate und berechne die Stichprobengröße mit einem festgelegten Konfidenzniveau und einer festgelegten Teststärke.
Es gibt kein allgemeingültiges Minimum wie 1.000 Empfänger. Eine häufige Aktion braucht eine andere Stichprobe als ein seltener Kauf. Ein Test, der einen sehr kleinen Anstieg nachweisen soll, braucht mehr Daten als einer, der nach einer großen Veränderung sucht.
Bei einer kleinen Liste ist es womöglich besser, eine deutliche Änderung über mehrere vergleichbare Versände zu testen oder qualitatives Feedback einzuholen, als eine Kampagne in viele winzige Gruppen aufzuteilen. Wiederholte Kampagnen bringen zeitliche Unterschiede mit sich, benenne diese Einschränkung also, wenn du das Ergebnis interpretierst.
Teile infrage kommende Empfänger zufällig auf die Versionen auf. Halte Zielgruppenregeln, Zustellzeitraum und alle anderen wesentlichen Inhalte vergleichbar. Wenn du Betreff, Layout, Angebot und Landingpage gleichzeitig änderst, testest du das gesamte Paket und kannst nicht sagen, welcher Teil den Unterschied verursacht hat.
Zähle wiederholte Versände an dieselbe Person nicht als unabhängige Beobachtungen. Überleg bei Ergebnissen auf Account-Ebene, ob sich Personen im selben Account gegenseitig beeinflussen könnten.
Wähle einen Beobachtungszeitraum, in dem die gewünschte Aktion auch stattfinden kann. Schau nicht immer wieder auf die Zahlen, um beim ersten günstigen Ausschlag aufzuhören, es sei denn, deine statistische Methode sieht genau das ausdrücklich vor.
Angenommen, eine Version erzielt 24 Käufe und die andere 27. Diese Zahlen allein ergeben noch keinen Gewinner. Du brauchst die Gruppengrößen, die Methode der Zuteilung und ein Intervall um den geschätzten Unterschied.
Wenn das Ergebnis nicht eindeutig ist, sag das auch. Behalte die einfachere Version oder nutze, was du gelernt hast, für einen aussagekräftigeren nächsten Test. Ein Test, der eine große Verbesserung ausschließt, kann dir trotzdem Zeit sparen.
Halte Hypothese, Versionen, Zielgruppe, Stichprobe, Zeitraum, Kennzahl, Ergebnis und die nächste Entscheidung fest. Verknüpfe diese Notiz mit der Kampagne. Und wenn du Betreffzeilen überprüfst, widersteh der Versuchung, aus einem einzelnen Test eine dauerhafte Regel für jede Zielgruppe zu machen.
