การวัดผล BrazeAI Decisioning Studio ด้วยกลุ่มทดสอบ (Holdout Group)

วัดผล BrazeAI Decisioning Studio ด้วยการเปรียบเทียบกลุ่มทดสอบ (holdout group) สองแบบ เนื่องจากทั้งสองแบบให้คำตอบสำหรับคำถามที่แตกต่างกัน การควบคุมแบบสุ่ม (random control) ที่มีมาให้ในตัวจะแสดงให้เห็นว่าการตัดสินใจของเอเจนต์นั้นดีกว่าการเลือกแบบสุ่มจากตัวเลือกเดียวกันหรือไม่ ส่วนการแบ่งกลุ่มแบบธุรกิจตามปกติ (business-as-usual) ซึ่งคุณต้องตั้งค่าเอง จะแสดงให้เห็นว่าเอเจนต์ทำงานได้ดีกว่าโปรแกรมที่คุณใช้อยู่เดิมหรือไม่ เพื่อให้การทดสอบที่สองนี้มีความยุติธรรม โปรดรอให้การฝึกฝนข้อมูลเสร็จสมบูรณ์ และอ่านรายงานในมุมมองแบบรวมและแบบรายวันแยกกัน

ประเด็นสำคัญ

• Decisioning Studio รองรับการเปรียบเทียบกลุ่มทดสอบสองแบบ ซึ่งให้คำตอบสำหรับคำถามที่แตกต่างกัน
• การควบคุมแบบสุ่มจะแสดงให้เห็นว่าการตัดสินใจของเอเจนต์นั้นดีกว่าการเลือกแบบสุ่มจากตัวเลือกเดียวกันหรือไม่
• การแบ่งกลุ่มแบบธุรกิจตามปกติที่คุณตั้งค่าเอง จะแสดงให้เห็นว่าเอเจนต์ทำงานได้ดีกว่าโปรแกรมปัจจุบันของคุณหรือไม่
• ทำให้การทดสอบแบบธุรกิจตามปกติมีความยุติธรรมด้วยการกำหนด: ความถี่ในการส่งที่เท่ากัน, ครีเอทีฟเดียวกัน, การนับคลิกแบบเดียวกัน และเกณฑ์มาตรฐานที่คงที่
• รอจนกว่าเอเจนต์จะได้รับการฝึกฝนอย่างเต็มที่ก่อนที่จะนำไปเปรียบเทียบกับธุรกิจตามปกติ
• ในรายงานประสิทธิภาพ การ์ดตัวชี้วัดจะแสดงผลรวมตลอดช่วงเวลา ในขณะที่แผนภูมิจะแสดงข้อมูลแยกเป็นรายวัน

กลุ่มทดสอบของ Decisioning Studio แต่ละกลุ่มตอบคำถามอะไรบ้าง?

Decisioning Studio Go ให้การเปรียบเทียบแบบค่าเริ่มต้นหนึ่งรายการ คือการเปรียบเทียบเอเจนต์กับกลุ่มควบคุมแบบสุ่ม คุณสามารถเพิ่มการเปรียบเทียบรายการที่สองได้ด้วยตนเอง คือการเปรียบเทียบเอเจนต์กับโปรแกรมปัจจุบันของคุณ ทั้งสองแบบนี้อาจทำให้สับสนได้ง่ายและรองรับการตัดสินใจที่แตกต่างกัน

กลุ่มควบคุมแบบสุ่มจะได้รับชุดตัวเลือกที่เลือกแบบสุ่มจากตัวเลือกเดียวกัน ภายใต้ตารางเวลาและข้อจำกัดเดียวกัน Braze เรียกความแตกต่างนี้ว่าเป็นมาตรวัดผลลัพธ์ (lift) ที่ชัดเจนที่สุดและพร้อมใช้งานเสมอ เนื่องจากทั้งสองกลุ่มใช้ตัวเลือกชุดเดียวกัน

นั่นคือเหตุผลที่มันไม่สามารถตัดสินคำถามทางธุรกิจได้ด้วยตัวเอง การเอาชนะการเลือกแบบสุ่มพิสูจน์ได้ว่าเอเจนต์เลือกได้ดี แต่มันไม่ได้พิสูจน์ว่าเอเจนต์ทำงานได้ดีกว่าตัวเลือกที่ทีมของคุณทำอยู่แล้ว

คุณควรจัดขนาดและอ่านค่ากลุ่มควบคุมแบบสุ่มอย่างไร?

Braze กำหนดค่าควบคุมขั้นต่ำไว้ที่ 5% และแนะนำให้เพิ่มสัดส่วนสำหรับกลุ่มเป้าหมายที่มีขนาดเล็ก เพื่อให้ผลลัพธ์มีความหมายทางสถิติ

ตัวชี้วัดหลักของ Go คือจำนวนลูกค้าที่ไม่ซ้ำกันที่คลิกในแต่ละวัน โดยนับเป็นรายบุคคลแทนที่จะนับปริมาณคลิกดิบ การคลิกจะผ่านตัวกรองการตรวจสอบที่คัดกรองกิจกรรมอัตโนมัติและการคลิกที่เกี่ยวข้องกับการยกเลิกรับข่าวสารออกก่อน

คาดการณ์ได้ว่ายอดรวมเหล่านี้จะต่ำกว่ารายงานอีเมลฉบับดิบของคุณ ช่องว่างดังกล่าวเกิดจากการกรองข้อมูล ไม่ใช่ข้อผิดพลาด ดังนั้นควรเปรียบเทียบตัวเลขของเอเจนต์ด้วยกันเองแทนที่จะเปรียบเทียบกับแดชบอร์ดอีเมล

คุณจะตั้งค่าการเปรียบเทียบแบบธุรกิจตามปกติให้ยุติธรรมได้อย่างไร?

Decisioning Studio Go ไม่ได้จัดการหรือรายงานผลเกี่ยวกับกลุ่มธุรกิจตามปกติ ดังนั้นความยุติธรรมของการทดสอบนี้จึงเป็นความรับผิดชอบของคุณ Braze แนะนำให้ใช้ขั้นตอน Experiment Paths ใน Canvas เพื่อการแบ่งกลุ่มแบบสุ่มที่สะอาดตา

ตรวจสอบกลุ่มเป้าหมายก่อน กลุ่มเอเจนต์จำเป็นต้องมีผู้ใช้เหลืออย่างน้อย 20,000 คนหลังจากแบ่งกลุ่มและหลังจากจัดสรรกลุ่มควบคุมแบบสุ่มของตัวเองแล้ว ดังนั้นกลุ่มเป้าหมายที่มีขนาดประมาณ 40,000 คนหรือน้อยกว่าจะไม่สามารถรองรับการแบ่งกลุ่มแบบครึ่งต่อครึ่งได้

จากนั้นให้ขจัดความแตกต่างทุกอย่างออกไป ยกเว้นเรื่องว่าใครเป็นผู้ตัดสินใจ Braze ได้ระบุเงื่อนไขไว้ 4 ประการ ซึ่งแต่ละข้อจะช่วยปิดช่องว่างที่แตกต่างกัน

1. ปรับความถี่ในการส่งของเอเจนต์ให้ตรงกับโปรแกรมปัจจุบันของคุณ หรือตั้งค่าให้เท่ากับค่าเฉลี่ยของโปรแกรมนั้น
2. ใส่หัวข้ออีเมล คำกระตุ้นการตัดสินใจ (CTA) และรูปภาพทั้งหมดจากโปรแกรมปัจจุบันของคุณลงในเอเจนต์
3. นับจำนวนการคลิกด้วยวิธีเดียวกันในทั้งสองกลุ่ม
4. คงโปรแกรมปัจจุบันไว้ให้เสถียรตลอดช่วงเวลาที่ทำการวัดผล

หากข้ามเงื่อนไขแรกไป คุณจะกำลังวัดปริมาณการส่งแทนที่จะเป็นการตัดสินใจ และหากข้ามเงื่อนไขที่สองไป คุณจะกำลังวัดความแตกต่างของเนื้อหา ซึ่งจะบอกผลลัพธ์เกี่ยวกับงานสร้างสรรค์ของคุณ ไม่ใช่เกี่ยวกับเอเจนต์ของคุณ

ผลลัพธ์จะพร้อมให้ดูเมื่อใด

Braze ระบุไว้อย่างชัดเจนว่าเอเจนต์ที่ยังอยู่ในระหว่างการเรียนรู้มักจะมีประสิทธิภาพต่ำกว่าโปรแกรมที่ผ่านการปรับแต่งมาอย่างดีแล้วในช่วงแรก ดังนั้นควรรอจนกว่าเอเจนต์จะแสดงสถานะว่า "ฝึกฝนเต็มรูปแบบแล้ว" (Fully trained) ก่อนที่จะนำไปเปรียบเทียบกับการดำเนินงานตามปกติ

ตกลงเรื่องกฎการรอคอยก่อนเริ่มใช้งานจริงให้เป็นลายลักษณ์อักษรกับผู้ที่จะเป็นคนอ่านผลลัพธ์ เพราะกราฟในช่วงแรกที่แสดงให้เห็นว่าเอเจนต์ยังมีประสิทธิภาพตามหลังอยู่นั้น มักเป็นช่วงเวลาที่การทดสอบมีโอกาสถูกยกเลิกด้วยเหตุผลที่ไม่ถูกต้องมากที่สุด

คุณควรตีความรายงานประสิทธิภาพของ Decisioning Studio อย่างไร

รายงานประสิทธิภาพ Pro จะเปรียบเทียบเอเจนต์ของคุณกับกลุ่มเปรียบเทียบ เช่น Decisioning Studio เทียบกับการดำเนินงานตามปกติ ไม่มีข้อมูลใดในแดชบอร์ดที่สร้างขึ้นใหม่ แต่เป็นการแสดงผลลัพธ์รายวันที่จัดเก็บไว้ตามคำจำกัดความที่ตกลงกันไว้สำหรับกรณีการใช้งานของคุณ

การ์ดตัวชี้วัดและแผนภูมิให้คำตอบในมุมมองที่ต่างกัน การ์ดจะรวมช่วงวันที่ทั้งหมดไว้เป็นตัวเลขเดียว ในขณะที่แผนภูมิจะแสดงข้อมูลแยกรายวัน ตัวอย่างของ Braze คือ หากมีผู้ใช้ 100 คนและเกิดการแปลงผล 10 ครั้งในวันหนึ่ง และมีผู้ใช้ 10 คนเกิดการแปลงผล 2 ครั้งในวันถัดไป อัตราต่อวันจะอยู่ที่ 10% และ 20% ตามลำดับ ในขณะที่การ์ดจะแสดงค่าเฉลี่ยรวมที่ 10.9%

ค่า Uplift คำนวณจากค่าตัวชี้วัดเหล่านั้น โดยนำกลุ่มหลักลบด้วยกลุ่มเปรียบเทียบ แล้วหารด้วยกลุ่มเปรียบเทียบ หากค่า Uplift มีการเปลี่ยนแปลง แสดงว่าตัวชี้วัดพื้นฐานมีการเปลี่ยนแปลง ดังนั้นควรตรวจสอบที่ตัวชี้วัดแทนที่จะดูเพียงเส้น Uplift

ข้อมูลของวันล่าสุดอาจหายไปได้ตามการออกแบบ เนื่องจากความล่าช้าของไปป์ไลน์และการเปิดใช้งานคำแนะนำจะทำให้ข้อมูลของวันที่นั้นๆ ยังไม่สมบูรณ์ ดังนั้นการที่ข้อมูลของวันใดวันหนึ่งหายไปไม่ได้หมายความว่ารายงานมีปัญหา

มีรายงานอื่นใดบ้างที่ช่วยอธิบายผลลัพธ์ได้

โปรดอ่านรายงานการวินิจฉัยก่อนที่จะเชื่อในค่า Uplift ที่ดูน่าประหลาดใจ รายงานการวินิจฉัยขาออก (outbound diagnostics) จะแสดงจำนวนคำแนะนำที่สร้างและเปิดใช้งานในแต่ละวัน ส่วนรายงานขาเข้า (inbound) จะแสดงสถานะความสมบูรณ์ของฟีดข้อมูลที่อยู่เบื้องหลัง

รายงานไทม์ไลน์จะบันทึกการทำงานของเอเจนต์ การเปลี่ยนแปลงการตั้งค่า และการอัปเดตเกณฑ์ควบคุมไว้ข้างๆ ตัวชี้วัดของคุณ เมื่อเส้น Uplift มีการเคลื่อนไหว ให้ตรวจสอบไทม์ไลน์ก่อน เพราะการเปลี่ยนแปลงที่คุณทำไว้อาจเป็นคำอธิบายที่เป็นไปได้มากที่สุด

สำหรับ Go คุณยังสามารถวิเคราะห์ผลลัพธ์ในคลังข้อมูลของคุณเองได้ การส่งแต่ละครั้งจะเขียนตัวระบุลงในส่วนเสริมของข้อความในเหตุการณ์การส่งอีเมล รวมถึงข้อมูลว่าผู้ใช้อยู่ในกลุ่มใด เพื่อให้คุณสามารถเปรียบเทียบตัวชี้วัดใดก็ได้ที่คุณเลือก ระหว่างเอเจนต์กับกลุ่มควบคุมแบบสุ่ม

ข้อผิดพลาดในการวัดผลใดบ้างที่คุณควรหลีกเลี่ยง?

ระบุข้อผิดพลาดให้ชัดเจนเพื่อให้สังเกตเห็นได้ง่ายในการทบทวนผลลัพธ์ ช่องว่างด้านความถี่ (frequency gap) จะทำให้กลุ่มหนึ่งส่งข้อความได้มากกว่าอีกกลุ่มหนึ่ง ซึ่งจะทำให้การทดสอบกลายเป็นการวัดปริมาณแทน

ช่องว่างด้านเนื้อหา (creative gap) จะทำให้ทั้งสองกลุ่มได้รับเนื้อหาที่แตกต่างกัน ซึ่งจะทำให้การทดสอบกลายเป็นการวัดผลงานเขียน (copy) ส่วนการเปลี่ยนเกณฑ์พื้นฐาน (moving baseline) จะทำให้การดำเนินงานตามปกติถูกปรับแต่งใหม่ระหว่างการทดสอบ ส่งผลให้เป้าหมายเปลี่ยนไปในขณะที่เอเจนต์กำลังทำงานอยู่

การตัดสินผลลัพธ์เร็วเกินไปเป็นการประเมินเอเจนต์ก่อนที่จะได้รับการฝึกฝนอย่างเต็มที่ การนำข้อมูลแบบรวมรายวันมาปะปนกันทำให้เกิดความเข้าใจผิดเมื่อนำการ์ดตัวชี้วัดไปเปรียบเทียบกับข้อมูลรายวันบนแผนภูมิ ราวกับว่าทั้งสองสิ่งนั้นวัดค่าจากแหล่งเดียวกัน

ส่วนนี้เชื่อมต่อกับส่วนอื่นๆ ของโปรแกรมอย่างไร?

การทดสอบแบบ Holdout ต้องอาศัยการสุ่มที่แม่นยำ ซึ่งเป็นหลักการเดียวกันกับที่ใช้ใน การทำ A/B Testing สำหรับแคมเปญอีเมลของคุณ. ยอดคลิกคือสัญญาณหลักของ Go และวิธีการที่ Braze นับยอดคลิกอีเมลนั้นได้อธิบายไว้ใน การรายงานแคมเปญอีเมล.

เอเจนต์ต้องการข้อมูลที่มีโครงสร้างชัดเจน ซึ่งเริ่มต้นจาก การติดตามเหตุการณ์ของผู้ใช้ใน Brazeและการรวมข้อมูล CRM เข้ากับ Braze. การปรับแต่งเนื้อหาให้เหมาะสมกับบุคคลที่เอเจนต์ทำโดยอัตโนมัตินั้นได้ระบุไว้ใน การปรับแต่งเนื้อหาแบบเฉพาะบุคคลขั้นสูงใน Braze.

ในฐานะพันธมิตรด้านการติดตั้งระบบของ Braze ทาง CustomerIK แนะนำให้ตัดสินใจก่อนเริ่มใช้งานว่าการเปรียบเทียบแต่ละครั้งมีไว้เพื่อตอบคำถามใด การใช้กลุ่มควบคุมแบบสุ่มจะช่วยให้คุณทราบว่าเอเจนต์เลือกได้ดีเพียงใด ส่วนการแบ่งกลุ่มแบบเปรียบเทียบกับวิธีปฏิบัติงานปกติ (Business-as-usual) จะช่วยให้คุณทราบว่าคุ้มค่าที่จะใช้งานต่อไปหรือไม่

สองกลุ่ม Holdout สองคำถามที่แตกต่างกัน

สมมติว่ามีผู้คลิก 1,200 คนจากกลุ่มเป้าหมาย 20,000 คนในกลุ่มเอเจนต์ตัวอย่าง เทียบกับ 1,000 คนจาก 20,000 คนในกลุ่มที่ใช้วิธีปฏิบัติงานปกติ คิดเป็น 6% เทียบกับ 5% หรือเพิ่มขึ้น 1 เปอร์เซ็นต์ ซึ่งเท่ากับการเพิ่มขึ้นสัมพัทธ์ 20% การคำนวณนี้ยังไม่ถือว่ามีนัยสำคัญทางสถิติ

หากกลุ่มควบคุมแบบสุ่มภายในมีอัตราการคลิกอยู่ที่ 5.5% การเปรียบเทียบนี้จะช่วยตอบคำถามว่าการตัดสินใจที่ผ่านการเรียนรู้มานั้นดีกว่าการสุ่มเลือกในตัวเลือกเดียวกันหรือไม่ โปรดแยกผลลัพธ์นี้ออกจากผลลัพธ์ของกลุ่มที่ใช้วิธีปฏิบัติงานปกติ โดยให้กำหนดขนาดการทดลองจริงตามความต้องการของผลิตภัณฑ์ในปัจจุบันหลังจากแบ่งกลุ่มทั้งสองแล้ว และตกลงเรื่องกฎการฝึกฝนและการสังเกตการณ์ไว้ล่วงหน้า

ตัวอย่างการทำงานและกรณีทดสอบเหล่านี้เป็นเพียงคำแนะนำเชิงบรรณาธิการเพื่อประกอบความเข้าใจเท่านั้น ไม่ใช่ผลลัพธ์ที่วัดได้จริงจากลูกค้าหรือเป็นการยืนยันว่ามีการทดสอบการเชื่อมต่อระบบจริงแล้ว

คำถามที่พบบ่อย

1. กลุ่มควบคุมแบบสุ่มของ Decisioning Studio วัดค่าอะไร?

เป็นการวัดประสิทธิภาพของเอเจนต์เทียบกับการสุ่มเลือกตัวเลือกเดียวกัน ภายใต้ตารางเวลาและข้อจำกัดเดียวกัน ความแตกต่างที่พบจะช่วยแยกแยะมูลค่าที่เกิดจากการตัดสินใจของเอเจนต์ออกมา

2. กลุ่มควบคุมแบบสุ่มควรมีขนาดใหญ่เท่าใด?

Braze กำหนดขั้นต่ำไว้ที่ 5% และแนะนำให้ใช้สัดส่วนที่ใหญ่ขึ้นสำหรับกลุ่มเป้าหมายขนาดเล็ก เช่น การแบ่งสัดส่วน 80 ต่อ 20 สำหรับกลุ่มเป้าหมายตั้งแต่ 20,000 ถึง 100,000 คน

3. Decisioning Studio Go รายงานผลของกลุ่มที่ใช้วิธีปฏิบัติงานปกติ (Business-as-usual) ของฉันหรือไม่?

ไม่ได้รายงาน คุณต้องตั้งค่าการเปรียบเทียบนั้นด้วยตัวเอง โดย Braze แนะนำให้ใช้ขั้นตอน Experiment Paths ใน Canvas สำหรับการแบ่งกลุ่มดังกล่าว

4. ทำไมยอดคลิกใน Decisioning Studio ถึงต่ำกว่ารายงานอีเมลของฉัน?

ยอดคลิกจะผ่านตัวกรองการตรวจสอบเพื่อคัดกรองกิจกรรมอัตโนมัติและการคลิกที่เกี่ยวข้องกับการยกเลิกรับข่าวสารออกไป ดังนั้นยอดรวมจึงต่ำกว่ารายงานอีเมลแบบดิบ

5. ฉันควรเปรียบเทียบเอเจนต์กับวิธีปฏิบัติงานปกติเมื่อใด?

หลังจากที่เอเจนต์ได้รับการฝึกฝนอย่างเต็มที่แล้ว Braze ตั้งข้อสังเกตว่าเอเจนต์ที่ยังอยู่ในระหว่างการฝึกฝนมักจะมีประสิทธิภาพตามหลังโปรแกรมที่ผ่านการใช้งานมาอย่างยาวนานในช่วงแรก

แหล่งข้อมูล

• Braze,การวัดผล Decisioning Studio Go. ดึงข้อมูลเมื่อ 16 ต.ค. 2026
• Braze,รายงานประสิทธิภาพ. ดึงข้อมูลเมื่อ 16 ต.ค. 2026
• Braze,รายงานการวินิจฉัย. ดึงข้อมูลเมื่อ 16 ต.ค. 2026
• Braze,รายงานไทม์ไลน์. ดึงข้อมูลเมื่อ 16 ต.ค. 2026

CustomerIK คือพันธมิตรด้านการติดตั้งใช้งาน Braze ที่เชี่ยวชาญทั้งในด้านการเริ่มต้นใช้งาน การเชื่อมต่อทางเทคนิค การดำเนินงานด้านการตลาด และการจัดการข้อมูลลูกค้า

หากคุณกำลังวางแผนการทดสอบ Decisioning Studio และต้องการออกแบบการเปรียบเทียบก่อนเริ่มใช้งานจริง มาคุยกันก่อนได้เลย