Transformez vos e-mails en revenus avec Brew.
Préparez vos tests A/B d’e-mails avec une hypothèse claire, une métrique pertinente, un échantillon suffisant et une lecture honnête des résultats incertains.
Un test A/B d’e-mail compare deux versions dans des conditions similaires. Sa valeur tient à la décision qu’il vous aide à prendre, pas au badge « gagnant » affiché dans un tableau de bord.
Partez d’une question assez précise pour que l’un comme l’autre résultat change votre prochain e-mail. « Une capture d’écran aide-t-elle les nouveaux utilisateurs à terminer la configuration ? » est une question utile. « Quel e-mail est le meilleur ? » laisse trop de choses dans le flou.
Utilisez une métrique proche de la raison de l’envoi. Si l’objectif est l’activation, une tâche accomplie dans le produit est plus utile qu’une ouverture. Pour une newsletter, un clic pertinent ou une réponse peut suffire. Suivez les plaintes et les désabonnements comme des coûts, même s’ils ne sont pas la métrique principale.
Définissez le dénominateur. Les clics par e-mail délivré et les clics par ouvreur ne répondent pas à la même question. Les métriques fondées sur l’ouverture peuvent en outre être faussées par les protections de la vie privée. La fonction Mail Privacy Protection d’Apple, par exemple, peut charger le contenu distant d’un e-mail en arrière-plan : une ouverture peut donc être enregistrée pour un message que personne n’a lu. Notez le calcul exact avant le début du test.
Notre guide des métriques e-mail explique où le suivi peut vous induire en erreur.
Si vous ne savez pas par où commencer, suivez cette liste de haut en bas. Les premiers éléments déterminent si le lecteur veut de ce message, tout simplement. Un meilleur bouton ne sauvera pas une offre dont personne ne veut.
| Élément | Ce que vous apprend un résultat net |
|---|---|
| Audience ou offre | Si ce groupe veut ce que vous lui demandez de faire. Testez-la en premier : tous les éléments suivants en dépendent. |
| Objet | Quelle formulation pousse les bons lecteurs à ouvrir et à agir. Jugez-le sur les clics ou sur l’action en aval, pas seulement sur les ouvertures. |
| Nom de l’expéditeur | Si les lecteurs reconnaissent le nom d’expéditeur et lui font confiance, par exemple le nom d’une personne comparé à celui de l’entreprise. |
| Texte d’aperçu | Si la ligne affichée après l’objet donne une raison d’ouvrir. Certains clients de messagerie la raccourcissent ou la masquent : l’effet dépend donc des clients qu’utilisent vos lecteurs. |
| Texte et position du CTA | Si les lecteurs comprennent ce qui se passe après le clic et trouvent le lien sans avoir à le chercher. |
| Mise en page | Si la structure aide les lecteurs à atteindre l’action. Un changement de mise en page modifie beaucoup de choses à la fois : lisez le résultat comme un tout. |
| Heure d’envoi | Le moment où cette audience a tendance à réagir à ce type de message. Comparez sur plusieurs envois, car une seule journée peut être atypique. |
L’heure d’envoi est le seul test où les versions partent, par construction, à des moments différents. Gardez tout le reste identique, y compris la façon dont vous répartissez l’audience, et mesurez les deux groupes sur une période d’observation de même durée.
Une hypothèse nomme le changement, l’audience, la métrique et la raison pour laquelle vous attendez une différence. C’est de la raison que vous apprenez quelque chose. Si le résultat va dans l’autre sens, il vous indique quelle supposition remettre en question.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Autrement dit : si nous faisons [tel changement] pour [telle audience], [telle métrique] va [augmenter ou baisser], parce que [telle raison]. Quelques exemples :
Chacune peut échouer, et un échec vous apprend quand même quelque chose sur vos lecteurs. Un test vague comme « essayer un nouveau modèle » vous apprend très peu, quelle que soit la version gagnante.
Un petit écart peut être réel, mais trop faible pour justifier un travail de production supplémentaire. Choisissez l’effet minimal qui changerait votre décision, estimez le taux de référence et calculez la taille d’échantillon nécessaire avec un niveau de confiance et une puissance statistique explicites.
Il n’existe pas de minimum universel du type 1 000 destinataires. Une action courante n’exige pas le même échantillon qu’un achat rare. Un test qui cherche une très petite hausse a besoin de plus de données qu’un test qui cherche un changement important.
Pour une petite liste, mieux vaut parfois tester un changement substantiel sur plusieurs envois comparables, ou recueillir des retours qualitatifs, que de diviser une campagne en une multitude de petits groupes. Des campagnes répétées introduisent des différences de calendrier : signalez cette limite quand vous interprétez le résultat.
Répartissez aléatoirement les destinataires éligibles entre les versions. Gardez comparables les règles d’audience, le créneau d’envoi et le reste du contenu important. Si vous changez à la fois l’objet, la mise en page, l’offre et la page de destination, vous testez l’ensemble et ne pouvez pas dire quelle partie a causé la différence.
Ne comptez pas des envois répétés à la même personne comme des observations indépendantes. Pour les résultats mesurés au niveau du compte, demandez-vous si les personnes d’un même compte peuvent s’influencer entre elles.
Fixez une période d’observation qui laisse à l’action visée le temps de se produire. Ne consultez pas les résultats en continu pour arrêter le test à la première fluctuation favorable, sauf si votre méthode statistique prévoit explicitement cette approche.
Supposons qu’une version obtienne 24 achats et l’autre 27. Ces chiffres seuls ne désignent pas de gagnant. Il vous faut la taille des groupes, la méthode d’affectation et un intervalle autour de la différence estimée.
Si le résultat n’est pas concluant, dites-le. Gardez la version la plus simple, ou servez-vous de ce que vous avez appris pour concevoir un test suivant plus solide. Un test qui exclut une forte amélioration peut quand même vous faire gagner du temps.
Consignez l’hypothèse, les versions, l’audience, l’échantillon, les dates, la métrique, le résultat et la décision suivante. Rattachez cette fiche à la campagne. Quand vous revoyez vos objets d’e-mail, ne faites pas d’un test isolé une règle permanente pour toutes les audiences.
