E-posta A/B testlerinizi net bir hipotez, anlamlı bir metrik, yeterli bir örneklem ve belirsiz sonuçların dürüst bir yorumuyla planlayın.
Bir e-posta A/B testi, iki versiyonu benzer koşullar altında karşılaştırır. Testin değeri, kontrol panelindeki “kazanan” rozetinde değil, vermenize yardımcı olduğu kararda yatar.
Sonuç hangisi olursa olsun bir sonraki e-postanızı değiştirecek kadar belirli bir soruyla başlayın. “Ekran görüntüsü, yeni kullanıcıların kurulumu tamamlamasına yardımcı oluyor mu?” işe yarar bir sorudur. “Hangi e-posta daha iyi?” ise pek çok şeyi tanımsız bırakır.
Gönderim nedeninize yakın bir metrik kullanın. Amaç aktivasyonsa tamamlanmış bir ürün görevi, bir açılmadan daha çok işe yarar. Bir bülten için ilgili bir tıklama ya da bir yanıt yeterli olabilir. Şikâyetleri ve abonelikten çıkmaları, birincil metrik olmasalar bile maliyet olarak takip edin.
Paydayı tanımlayın. Teslim edilen e-posta başına tıklama ile e-postayı açan kişi başına tıklama farklı soruları yanıtlar. Açılmaya dayalı metrikler gizlilik özelliklerinden de etkilenir. Örneğin Apple’ın Mail Privacy Protection özelliği bir e-postanın uzak içeriğini arka planda yükleyebilir; bu yüzden kimsenin okumadığı bir mesaj için de açılma kaydedilebilir. Test başlamadan önce hesaplamayı eksiksiz olarak yazın.
İzlemenin sizi nerelerde yanıltabileceğini e-posta metrikleri rehberimiz açıklıyor.
Nereden başlayacağınızdan emin değilseniz bu listeyi yukarıdan aşağıya doğru izleyin. Listenin başındaki unsurlar, okurun mesajı isteyip istemediğini belirler. Kimsenin istemediği bir teklifi daha iyi bir buton kurtarmaz.
| Unsur | Net bir sonuç size ne söyler? |
|---|---|
| Hedef kitle ya da teklif | Bu grubun, ondan yapmasını istediğiniz şeyi isteyip istemediğini. Bunu ilk sırada test edin, çünkü sonraki her unsur buna bağlıdır. |
| Konu satırı | Hangi çerçevenin doğru okurları e-postayı açmaya ve harekete geçmeye yönelttiğini. Bunu yalnızca açılmalara göre değil, tıklamalara ya da sonrasında gelen eyleme göre de değerlendirin. |
| Gönderici adı | Okurların gönderici adını tanıyıp ona güvenip güvenmediğini; örneğin bir kişinin adı ile şirket adı karşılaştırıldığında. |
| Önizleme metni | Konu satırından sonra görünen satırın e-postayı açmak için bir neden sunup sunmadığını. Bazı e-posta istemcileri bu satırı kısaltır ya da gizler; bu yüzden etkisi okurlarınızın hangi istemcileri kullandığına bağlıdır. |
| CTA metni ve yerleşimi | Okurların tıkladıktan sonra ne olacağını anlayıp anlamadığını ve bağlantıyı aramadan bulup bulamadığını. |
| Düzen | Yapının okurların eyleme ulaşmasına yardımcı olup olmadığını. Düzen değişikliği birçok şeyi aynı anda değiştirir; bu yüzden sonucu bir bütün olarak yorumlayın. |
| Gönderim zamanı | Bu hedef kitlenin bu tür bir mesajla genellikle ne zaman harekete geçtiğini. Tek bir gün olağan dışı olabileceğinden birden fazla gönderim üzerinden karşılaştırın. |
Gönderim zamanı, versiyonların tasarım gereği farklı saatlerde gönderildiği tek testtir. Hedef kitleyi nasıl böldüğünüz dâhil diğer her şeyi aynı tutun ve iki grubu da aynı uzunlukta bir zaman aralığında ölçün.
Bir hipotez; değişikliği, hedef kitleyi, metriği ve bir fark beklemenizin nedenini belirtir. Asıl öğrendiğiniz kısım bu nedendir. Sonuç beklediğinizin tersine çıkarsa hangi varsayımınızı sorgulamanız gerektiğini gösterir.
If we [change] for [audience], [metric] will [rise or fall] because [reason].Türkçesiyle: “[Hedef kitle] için [değişikliği] yaparsak [metrik] [artar ya da azalır]; çünkü [neden].” Bazı örnekler:
Bunlardan herhangi biri başarısız olabilir; başarısızlık da size okurlarınız hakkında yine bir şey öğretir. “Yeni bir şablon deneyelim” gibi belirsiz bir test ise hangi versiyon kazanırsa kazansın size çok az şey öğretir.
Küçük bir değişiklik gerçek olabilir ama ek üretim emeğine değmeyecek kadar küçük kalabilir. Kararınızı değiştirecek en küçük etkiyi seçin, referans oranı tahmin edin ve güven düzeyini ve istatistiksel gücü önceden belirttiğiniz bir örneklem büyüklüğü hesabı kullanın.
1.000 alıcı gibi evrensel bir alt sınır yoktur. Sık yapılan bir eylem, nadir gerçekleşen bir satın alımdan farklı büyüklükte bir örneklem gerektirir. Çok küçük bir artışı arayan bir test, büyük bir değişikliği arayan bir testten daha fazla veriye ihtiyaç duyar.
Küçük bir listede tek bir kampanyayı çok sayıda minik gruba bölmek yerine büyük bir değişikliği birkaç karşılaştırılabilir gönderim boyunca test etmek ya da nitel geri bildirim toplamak daha iyi olabilir. Tekrarlanan kampanyalar zamanlama farkları doğurur; bu yüzden sonucu yorumlarken bu sınırlamayı belirtin.
Uygun alıcıları versiyonlara rastgele atayın. Hedef kitle kurallarını, teslim aralığını ve diğer önemli içeriği karşılaştırılabilir tutun. Konu satırını, düzeni, teklifi ve açılış sayfasını birlikte değiştirirseniz paketin tamamını test etmiş olursunuz ve farkı hangi parçanın yarattığını söyleyemezsiniz.
Aynı kişiye yapılan tekrarlı gönderimleri bağımsız gözlemler olarak saymaktan kaçının. Hesap düzeyindeki sonuçlarda, aynı hesaptaki kişilerin birbirini etkileyip etkileyemeyeceğini göz önünde bulundurun.
Hedeflenen eylemin gerçekleşmesine yetecek bir gözlem süresi belirleyin. İstatistiksel yönteminiz bu yaklaşımı açıkça desteklemiyorsa sonuçlara tekrar tekrar göz atıp ilk olumlu dalgalanmada testi durdurmayın.
Bir versiyonun 24, diğerinin 27 satın alma getirdiğini varsayalım. Bu sayılar tek başına bir kazanan belirlemez. Grup büyüklüklerine, atama yöntemine ve tahmin edilen farkın güven aralığına ihtiyacınız var.
Sonuç belirsizse bunu açıkça söyleyin. Daha sade versiyonda kalın ya da öğrendiklerinizi daha güçlü bir sonraki test tasarlamak için kullanın. Büyük bir iyileşme ihtimalini dışarıda bırakan bir test bile size zaman kazandırabilir.
Hipotezi, versiyonları, hedef kitleyi, örneklemi, tarihleri, metriği, sonucu ve bir sonraki kararı kaydedin. Bu kaydı kampanyaya bağlayın. Konu satırlarını gözden geçirirken tek bir testi her hedef kitle için kalıcı bir kurala dönüştürme isteğine direnin.
