การทดสอบ A/B ของอีเมลคือการเปรียบเทียบอีเมล 2 เวอร์ชันภายใต้เงื่อนไขที่ใกล้เคียงกัน คุณค่าของการทดสอบอยู่ที่การตัดสินใจที่มันช่วยให้คุณทำได้ ไม่ใช่ป้ายผู้ชนะบนแดชบอร์ด

เริ่มจากคำถามที่เจาะจงพอ จนไม่ว่าผลจะออกมาทางไหนก็จะเปลี่ยนอีเมลฉบับถัดไปของคุณ “ภาพหน้าจอช่วยให้ผู้ใช้ใหม่ตั้งค่าจนเสร็จได้หรือไม่?” เป็นคำถามที่มีประโยชน์ ส่วน “อีเมลไหนดีกว่า?” ยังเหลือสิ่งที่ไม่ได้กำหนดไว้มากเกินไป

เลือกผลลัพธ์ที่จะวัดก่อน

ใช้ตัวชี้วัดที่ใกล้กับเหตุผลในการส่ง หากเป้าหมายคือการเริ่มใช้งานจริง งานในผลิตภัณฑ์ที่ทำสำเร็จมีประโยชน์กว่าการเปิด สำหรับจดหมายข่าว การคลิกที่เกี่ยวข้องหรือการตอบกลับอาจเพียงพอแล้ว ติดตามการร้องเรียนและการยกเลิกการรับข่าวสารในฐานะต้นทุนด้วย แม้จะไม่ใช่ตัวชี้วัดหลักก็ตาม

กำหนดตัวหารให้ชัด การคลิกต่ออีเมลที่ส่งถึงกับการคลิกต่อผู้เปิดอ่านตอบคำถามคนละข้อ ตัวชี้วัดที่อิงการเปิดยังได้รับผลจากฟีเจอร์ความเป็นส่วนตัวด้วย ตัวอย่างเช่น Mail Privacy Protection ของ Apple อาจโหลดเนื้อหาระยะไกลของอีเมลในเบื้องหลัง จึงอาจมีการบันทึกการเปิดของอีเมลที่ไม่มีใครอ่านเลย จดสูตรคำนวณที่แน่นอนไว้ก่อนเริ่มทดสอบ

คู่มือตัวชี้วัดอีเมลของเราอธิบายว่าการติดตามอาจทำให้คุณเข้าใจผิดได้ตรงไหนบ้าง

สิ่งที่ควรทดสอบ เรียงตามลำดับความสำคัญ

หากไม่แน่ใจว่าจะเริ่มจากตรงไหน ให้ไล่ลงไปตามรายการนี้ องค์ประกอบที่อยู่ด้านบนเป็นตัวตัดสินว่าผู้อ่านอยากได้ข้อความนี้ตั้งแต่แรกหรือไม่ ปุ่มที่ดีขึ้นช่วยข้อเสนอที่ไม่มีใครต้องการไม่ได้

เวลาส่งเป็นการทดสอบเดียวที่ตั้งใจให้แต่ละเวอร์ชันส่งออกไปคนละเวลา ให้ทุกอย่างที่เหลือเหมือนกันทั้งหมด รวมถึงวิธีแบ่งกลุ่มเป้าหมาย และวัดผลทั้งสองกลุ่มด้วยช่วงเวลาที่ยาวเท่ากัน

เขียนการทดสอบแต่ละครั้งเป็นสมมติฐาน

สมมติฐานระบุสิ่งที่เปลี่ยน กลุ่มเป้าหมาย ตัวชี้วัด และเหตุผลที่คุณคาดว่าจะเห็นความแตกต่าง เหตุผลคือส่วนที่คุณได้เรียนรู้ หากผลออกมาตรงกันข้าม ก็จะบอกคุณว่าข้อสันนิษฐานข้อไหนที่ควรตั้งคำถาม

If we [change] for [audience], [metric] will [rise or fall] because [reason].

ตัวอย่าง:

• หากเราใส่ภาพหน้าจอของการตั้งค่าที่เสร็จสมบูรณ์ในอีเมลแนะนำการใช้งานสำหรับผู้ทดลองใช้รายใหม่ จำนวนการตั้งค่าที่เสร็จภายใน 7 วันจะเพิ่มขึ้น เพราะผู้ใช้เห็นว่ากำลังทำไปเพื่ออะไร
• หากเราส่งจดหมายข่าวในชื่อของบรรณาธิการแทนชื่อบริษัท การตอบกลับจะเพิ่มขึ้น เพราะผู้อ่านรู้จักคนที่เขียน
• หากหัวเรื่องของอีเมลประกาศเวอร์ชันใหม่ระบุชื่อฟีเจอร์ใหม่แทนคำว่า “อัปเดตผลิตภัณฑ์” การคลิกไปยังหน้าฟีเจอร์จะเพิ่มขึ้น เพราะผู้อ่านรู้ได้ว่าฟีเจอร์นี้เกี่ยวกับตัวเองหรือไม่
• หากเราใส่วันปิดรับลงทะเบียนในข้อความแสดงตัวอย่างของอีเมลเชิญเข้าร่วมเว็บบินาร์ จำนวนการลงทะเบียนก่อนวันปิดรับจะเพิ่มขึ้น เพราะผู้รับเห็นวันที่ได้ตั้งแต่ในอินบ็อกซ์
• หากเราย้ายลิงก์หลักขึ้นไปไว้เหนือรูปภาพแรก การคลิกจากคนที่อ่านบนมือถือจะเพิ่มขึ้น เพราะเห็นลิงก์ได้โดยไม่ต้องเลื่อนหน้าจอ
• หากเราเสนอการนัดคุยเพื่อช่วยตั้งค่าแทนส่วนลดให้กับบัญชีทดลองใช้ที่ติดค้างอยู่ การเปลี่ยนเป็นลูกค้าแบบชำระเงินจะเพิ่มขึ้น เพราะบัญชีเหล่านี้หยุดไปตอนตั้งค่า

สมมติฐานเหล่านี้ล้มเหลวได้ทุกข้อ และความล้มเหลวก็ยังสอนบางอย่างเกี่ยวกับผู้อ่านของคุณ ส่วนการทดสอบที่คลุมเครืออย่าง “ลองเทมเพลตใหม่” แทบไม่ได้สอนอะไรเลย ไม่ว่าเวอร์ชันไหนจะชนะ

กำหนดว่าความแตกต่างระดับไหนถึงจะมีความหมาย

ความเปลี่ยนแปลงเล็ก ๆ อาจเกิดขึ้นจริง แต่เล็กเกินกว่าจะคุ้มกับงานผลิตที่เพิ่มขึ้น ให้เลือกขนาดผลขั้นต่ำที่จะเปลี่ยนการตัดสินใจของคุณ ประมาณอัตราที่เป็นค่าฐาน แล้วคำนวณขนาดตัวอย่างโดยระบุระดับความเชื่อมั่นและอำนาจการทดสอบทางสถิติ

ไม่มีจำนวนขั้นต่ำสากล เช่น ผู้รับ 1,000 ราย การกระทำที่เกิดบ่อยต้องใช้ขนาดตัวอย่างต่างจากการซื้อที่เกิดขึ้นน้อย การทดสอบที่มองหาผลที่เพิ่มขึ้นเพียงเล็กน้อยต้องใช้ข้อมูลมากกว่าการทดสอบที่มองหาความเปลี่ยนแปลงขนาดใหญ่

สำหรับรายชื่อขนาดเล็ก การทดสอบความเปลี่ยนแปลงที่ชัดเจนผ่านการส่งหลายครั้งที่เทียบกันได้ หรือการเก็บความคิดเห็นเชิงคุณภาพ อาจดีกว่าการแบ่งแคมเปญเดียวออกเป็นกลุ่มเล็ก ๆ จำนวนมาก แคมเปญที่ส่งซ้ำหลายรอบทำให้เกิดความแตกต่างด้านจังหวะเวลา จึงควรระบุข้อจำกัดนี้ไว้ตอนตีความผล

ทำให้การเปรียบเทียบตีความได้

สุ่มผู้รับที่เข้าเกณฑ์ให้ไปอยู่ในแต่ละเวอร์ชัน รักษากฎของกลุ่มเป้าหมาย ช่วงเวลาส่ง และเนื้อหาสำคัญอื่น ๆ ให้เทียบกันได้ หากคุณเปลี่ยนหัวเรื่อง เลย์เอาต์ ข้อเสนอ และแลนดิ้งเพจพร้อมกัน แปลว่าคุณกำลังทดสอบทั้งชุด และบอกไม่ได้ว่าส่วนไหนทำให้เกิดความแตกต่าง

อย่านับการส่งซ้ำถึงคนคนเดียวกันเป็นข้อมูลสังเกตที่เป็นอิสระต่อกัน สำหรับผลลัพธ์ระดับบัญชี ให้พิจารณาว่าคนในบัญชีเดียวกันอาจส่งผลต่อกันหรือไม่

กำหนดช่วงเวลาที่วัดผลให้นานพอที่การกระทำที่ต้องการจะเกิดขึ้นได้ อย่าแอบดูผลซ้ำ ๆ แล้วหยุดทดสอบทันทีที่เห็นความผันผวนที่เป็นใจครั้งแรก เว้นแต่วิธีทางสถิติที่คุณใช้รองรับแนวทางนั้นไว้อย่างชัดเจน

อ่านความไม่แน่นอน ไม่ใช่แค่ตัวเลขหลัก

สมมติว่าเวอร์ชันหนึ่งได้การซื้อ 24 ครั้ง และอีกเวอร์ชันได้ 27 ครั้ง ตัวเลขเพียงเท่านี้ยังตัดสินผู้ชนะไม่ได้ คุณต้องรู้ขนาดของแต่ละกลุ่ม วิธีแบ่งผู้รับเข้ากลุ่ม และช่วงความเชื่อมั่นรอบค่าประมาณของผลต่าง

หากผลยังสรุปไม่ได้ ก็บอกไปตามนั้น เลือกใช้เวอร์ชันที่เรียบง่ายกว่า หรือนำสิ่งที่ได้เรียนรู้ไปออกแบบการทดสอบครั้งถัดไปให้รัดกุมขึ้น การทดสอบที่ตัดความเป็นไปได้ว่าจะมีผลดีขึ้นอย่างมากออกไปได้ ก็ยังช่วยประหยัดเวลาของคุณ

บันทึกสมมติฐาน เวอร์ชัน กลุ่มเป้าหมาย กลุ่มตัวอย่าง วันที่ ตัวชี้วัด ผลลัพธ์ และการตัดสินใจครั้งถัดไป แล้วผูกบันทึกนั้นไว้กับแคมเปญ เมื่อทบทวนหัวเรื่องอีเมล อย่าเปลี่ยนผลจากการทดสอบเพียงครั้งเดียวให้เป็นกฎถาวรสำหรับกลุ่มเป้าหมายทุกกลุ่ม