.svg)
قم بقياس أداء BrazeAI Decisioning Studio باستخدام مقارنتين لمجموعتي الضبط، حيث تجيب كل منهما على أسئلة مختلفة. يوضح عنصر التحكم العشوائي المدمج ما إذا كانت قرارات الوكيل تتفوق على الاختيارات العشوائية ضمن نفس الخيارات. أما تقسيم "سير العمل المعتاد"، الذي تقوم بإعداده بنفسك، فيوضح ما إذا كان الوكيل يتفوق على البرنامج الذي تستخدمه حالياً. اجعل هذا الاختبار الثاني عادلاً، وانتظر حتى يكتمل التدريب، واقرأ النتائج المجمعة واليومية في التقرير بشكل منفصل.
أبرز النقاط
- يدعم Decisioning Studio مقارنتين لمجموعتي الضبط، وتجيب كل منهما على أسئلة مختلفة.
- يوضح عنصر التحكم العشوائي ما إذا كانت قرارات الوكيل تتفوق على الاختيارات العشوائية ضمن نفس الخيارات.
- يوضح تقسيم "سير العمل المعتاد"، الذي تقوم بإعداده بنفسك، ما إذا كان الوكيل يتفوق على برنامجك الحالي.
- اجعل اختبار "سير العمل المعتاد" عادلاً من خلال: تساوي وتيرة الإرسال، واستخدام نفس المحتوى الإبداعي، ونفس آلية احتساب النقرات، مع وجود خط أساس ثابت.
- انتظر حتى يكتمل تدريب الوكيل تماماً قبل مقارنته بسير العمل المعتاد.
- في تقرير الأداء، تقوم بطاقة المقاييس بتجميع النطاق بالكامل، بينما يعرض الرسم البياني البيانات لكل يوم على حدة.
أي مجموعة ضبط في Decisioning Studio تجيب على أي سؤال؟
يوفر لك Decisioning Studio Go مقارنة واحدة افتراضياً، وهي مقارنة الوكيل بعنصر تحكم عشوائي. يمكنك إضافة مقارنة ثانية بنفسك، وهي مقارنة الوكيل ببرنامجك الحالي. من السهل الخلط بين الاثنين، حيث يدعم كل منهما قرارات مختلفة.
| المقارنة | من يقوم بإعدادها | ما الذي تعزله | من يجب أن يقرأها |
|---|---|---|---|
| الوكيل مقابل عنصر التحكم العشوائي | مدمج في كل وكيل Go | قيمة اتخاذ القرار للوكيل ضمن نفس الخيارات | الفريق الذي يقوم بضبط الوكيل |
| الوكيل مقابل سير العمل المعتاد | أنت، باستخدام مسارات التجربة أو أرقام المجموعات العشوائية | ما إذا كان الوكيل يتفوق على برنامجك الحالي | الشخص المسؤول عن اتخاذ قرار استمرار الاستثمار |
يتلقى عنصر التحكم العشوائي مجموعات مختارة عشوائياً من نفس الخيارات، ضمن نفس الجدول الزمني والقيود. تطلق Braze على هذا الفرق اسم "أدق مقياس متاح للرفع"، لأن كلتا المجموعتين تعتمدان على نفس الخيارات.
ولهذا السبب لا يمكن لهذا الاختبار حسم مسألة العمل بمفرده. فالتفوق على الاختيار العشوائي يثبت أن الوكيل يتخذ قرارات جيدة، لكنه لا يثبت أن الوكيل يتفوق على الخيارات التي يتخذها فريقك بالفعل.
كيف يجب عليك تحديد حجم عنصر التحكم العشوائي وقراءته؟
تحدد Braze الحد الأدنى لعنصر التحكم بنسبة 5% وتوصي بحصة أكبر للجماهير الأصغر، لضمان بقاء النتائج ذات دلالة إحصائية.
| حجم الجمهور | التقسيم الموصى به (الوكيل إلى عنصر التحكم العشوائي) |
|---|---|
| من 20,000 إلى 100,000 | 80 إلى 20 |
| من 100,000 إلى 1,000,000 | 90 إلى 10 |
| من 1,000,000 إلى 40,000,000 | 95 إلى 5 |
المقياس الرئيسي في Go هو عدد العملاء الفريدين الذين نقروا يومياً، مع احتساب الأشخاص المميزين بدلاً من إجمالي حجم النقرات الخام. تمر النقرات عبر فلاتر التحقق التي تستبعد النشاط الآلي والنقرات المتعلقة بإلغاء الاشتراك أولاً.
توقع أن تكون هذه الإجماليات أقل من تقارير البريد الإلكتروني الخام الخاصة بك. هذا الفارق ناتج عن عملية التصفية وليس خطأً، لذا قارن أرقام الوكيل ببعضها البعض بدلاً من مقارنتها بلوحة تحكم البريد الإلكتروني.
كيف يمكنك إعداد مقارنة عادلة لسير العمل المعتاد؟
لا يقوم Decisioning Studio Go بتنظيم أو إعداد تقارير حول مجموعة "سير العمل المعتاد"، لذا فإن ضمان عدالة هذا الاختبار يقع على عاتقك. توصي Braze باستخدام خطوة "مسارات التجربة" (Experiment Paths) في Canvas للحصول على تقسيم عشوائي نظيف.
تحقق من الجمهور أولاً. تحتاج مجموعة الوكيل إلى 20,000 مستخدم على الأقل بعد التقسيم وبعد تخصيص عنصر التحكم العشوائي الخاص بها، لذا فإن الجمهور الذي يبلغ عدده حوالي 40,000 أو أقل لا يمكنه دعم تقسيم بنسبة النصف.
بعد ذلك، قم بإزالة كافة الاختلافات باستثناء الجهة المسؤولة عن اتخاذ القرارات. تضع Braze أربعة شروط، ويعمل كل شرط منها على سد فجوة مختلفة.
- طابق وتيرة إرسال الوكيل مع برنامجك الحالي، أو اضبطها لتتوافق مع متوسط ذلك البرنامج.
- قم بتحميل كل سطر موضوع، ودعوة لاتخاذ إجراء، وصورة من برنامجك الحالي إلى الوكيل.
- احسب النقرات بنفس الطريقة في كلتا المجموعتين.
- حافظ على استقرار البرنامج الحالي طوال فترة القياس بأكملها.
إذا تخطيت الشرط الأول، فأنت تقيس حجم الإرسال بدلاً من اتخاذ القرار. وإذا تخطيت الشرط الثاني، فأنت تقيس اختلافاً في المحتوى، وهو ما يخبرك عن إبداعك وليس عن وكيلك.
متى تكون النتيجة جاهزة للقراءة؟
توضح Braze أن الوكيل الذي لا يزال في مرحلة التدريب عادة ما يتأخر عن البرنامج الناضج والمُحسّن مسبقاً في البداية. انتظر حتى تظهر حالة الوكيل "مدرب بالكامل" (Fully trained) قبل مقارنته بالأداء المعتاد للعمل.
اتفق على قاعدة الانتظار تلك قبل الإطلاق، كتابةً، مع أي شخص سيطلع على النتائج. إن الرسم البياني المبكر الذي يظهر تأخر الوكيل هو اللحظة التي من المرجح أن يتم فيها إيقاف الاختبار لسبب خاطئ.
كيف يجب أن تقرأ تقرير أداء Decisioning Studio؟
يقارن تقرير الأداء الاحترافي (Pro) وكيلك بمجموعات المقارنة الخاصة به، مثل مقارنة Decisioning Studio بالأداء المعتاد للعمل. لا يوجد شيء في لوحة التحكم ينشئ بيانات جديدة، بل يقوم التقرير بتصور النتائج اليومية المخزنة والمبنية على التعريفات المتفق عليها لحالة استخدامك.
تجيب بطاقة المقاييس والرسم البياني على أسئلة مختلفة. تجمع البطاقة نطاق التاريخ بأكمله في رقم واحد، بينما يوضح الرسم البياني كل يوم على حدة. في مثال Braze، 10 تحويلات من 100 عميل في يوم واحد و2 من 10 في اليوم التالي تعطي معدلات يومية بنسبة 10% و20%، بينما تظهر البطاقة 10.9%.
يتم حساب الرفع (Uplift) من قيم المقاييس تلك، كمجموعة أساسية مطروحاً منها مجموعة المقارنة، مقسوماً على مجموعة المقارنة. إذا تغير الرفع، فهذا يعني أن المقياس الأساسي قد تغير، لذا ابحث في المقياس بدلاً من خط الرفع.
قد تكون الأيام الأخيرة مفقودة حسب التصميم. تؤدي تأخيرات خطوط المعالجة وتأخيرات تفعيل التوصيات إلى حجب التواريخ حتى تكتمل البيانات، لذا فإن غياب يوم معين لا يعني وجود خلل في التقرير.
ما هي التقارير الأخرى التي تساعد في تفسير النتيجة؟
اقرأ التشخيصات قبل أن تثق في أي رفع مفاجئ. يوضح تقرير التشخيصات الصادرة التوصيات التي تم إنشاؤها وتفعيلها كل يوم، ويوضح التقرير الوارد سلامة تدفقات البيانات التي تقف وراءها.
يسجل تقرير الجدول الزمني عمليات تشغيل الوكيل، وتغييرات التكوين، وتحديثات حواجز الحماية بجانب مقاييسك. عندما يتحرك خط الرفع، تحقق من الجدول الزمني أولاً، لأن التغيير الذي أجريته هو التفسير الأكثر احتمالاً.
بالنسبة لـ Go، يمكنك أيضاً تحليل النتائج في مستودع بياناتك الخاص. يكتب كل إرسال معرفات إلى إضافات الرسائل في حدث إرسال البريد الإلكتروني، بما في ذلك المجموعة التي كان المستخدم فيها، حتى تتمكن من مقارنة أي مقياس تختاره عبر الوكيل ومجموعة التحكم العشوائية.
ما هي أخطاء القياس التي يجب عليك تجنبها؟
قم بتسمية الأخطاء لتسهيل اكتشافها عند مراجعة النتائج. تسمح فجوة التكرار لمجموعة واحدة بالإرسال أكثر من الأخرى، لذا يقيس الاختبار الحجم.
تمنح فجوة المحتوى الإبداعي المجموعتين محتوى مختلفاً، لذا يقيس الاختبار النص. تعمل خط الأساس المتحرك على تحسين الأداء المعتاد للعمل أثناء الاختبار، مما يؤدي إلى تغيير الهدف تحت الوكيل.
يؤدي إصدار الأحكام المبكرة إلى تقييم الوكيل قبل اكتمال تدريبه. كما أن الخلط بين البيانات المجمعة يومياً ومقارنة بطاقة المقاييس بيوم واحد في الرسم البياني يعطي انطباعاً خاطئاً بأنهما يقيسان الشيء نفسه.
أين يرتبط هذا ببقية البرنامج؟
تعتمد اختبارات المجموعات الضابطة (Holdout tests) على العشوائية المنظمة، وهي نفس الانضباط المتبع في اختبار A/B لحملات البريد الإلكتروني الخاصة بك. تُعد النقرات هي الإشارة الأساسية للبدء (Go signal)، وتغطي هذه المقالة كيفية احتساب Braze لنقرات البريد الإلكتروني تقارير حملات البريد الإلكتروني.
تحتاج الوكلاء إلى بيانات منظمة بشكل جيد، ويبدأ ذلك بـ تتبع أحداث المستخدم في Brazeودمج بيانات نظام إدارة علاقات العملاء (CRM) في Braze. تم توضيح التخصيص الذي يقوم الوكيل بأتمتته في التخصيص الفائق في Braze.
بصفتنا شريكاً في تنفيذ حلول Braze، توصي CustomerIK بتحديد السؤال الذي تجيب عليه كل مقارنة قبل الإطلاق. فالمجموعة الضابطة العشوائية تخبرك بأن الوكيل يتخذ قرارات جيدة، بينما يخبرك تقسيم "سير العمل المعتاد" (business-as-usual) ما إذا كان الأمر يستحق الاستمرار.
مجموعتان ضابطتان، وسؤالان مختلفان
لنفترض أن 1,200 شخص من أصل 20,000 في مجموعة الوكيل التوضيحية قد نقروا، مقابل 1,000 من أصل 20,000 في مجموعة سير العمل المعتاد: أي 6% مقابل 5%، وهو ما يمثل زيادة بنسبة نقطة مئوية واحدة أو زيادة نسبية قدرها 20%. هذه الحسبة لا تثبت الدلالة الإحصائية.
إذا كانت مجموعة التحكم بالاختيار العشوائي الداخلية لديها معدل 5.5%، فإن مقارنتها تجيب على ما إذا كانت الخيارات المتعلمة تتفوق على الخيارات العشوائية ضمن نفس الخيارات المتاحة. حافظ على فصل هذه النتيجة عن نتيجة سير العمل المعتاد. حدد حجم التجربة الفعلية بناءً على متطلبات المنتج الحالية بعد إجراء كلا التقسيمين، واتفق على قواعد التدريب والمراقبة مسبقاً.
| حالة الاختبار | النتيجة المتوقعة |
|---|---|
| تتلقى المجموعات ترددات إرسال مختلفة | عالج التداخل قبل تحديد مصدر الزيادة |
| الوكيل لا يزال في مرحلة التدريب | التزم بقاعدة التدريب المتفق عليها مسبقاً |
| تختلف بطاقة المقاييس عن الرسم البياني اليومي | تحقق من التجميع اليومي مقابل التجميع المجمع |
الأمثلة العملية وحالات الاختبار هي توجيهات تحريرية توضيحية، وليست نتائج مقاسة للعملاء أو ادعاءً بأنه تم اختبار تكامل مباشر.
الأسئلة الشائعة
1. ماذا تقيس المجموعة الضابطة العشوائية في Decisioning Studio؟
إنها تقيس أداء الوكيل مقابل مجموعات مختارة عشوائياً من نفس الخيارات، ضمن نفس الجدول الزمني والقيود. هذا الفرق يعزل القيمة الحقيقية لقرارات الوكيل.
2. ما هو الحجم المناسب للمجموعة الضابطة العشوائية؟
تحدد Braze حداً أدنى قدره 5% وتوصي بنسب أكبر للجماهير الأصغر، مثل تقسيم 80 إلى 20 للجماهير التي تتراوح بين 20,000 و100,000.
3. هل يقدم Decisioning Studio Go تقارير عن مجموعة "سير العمل المعتاد" الخاصة بي؟
لا يفعل ذلك. عليك إعداد هذه المقارنة بنفسك، وتوصي Braze باستخدام خطوة "مسارات التجربة" (Experiment Paths) في Canvas لإجراء هذا التقسيم.
4. لماذا تكون إجمالي نقرات Decisioning Studio أقل من تقارير البريد الإلكتروني الخاصة بي؟
تمر النقرات عبر فلاتر تحقق تزيل النشاط الآلي والنقرات المتعلقة بإلغاء الاشتراك، لذا تكون الأرقام الإجمالية أقل من تقارير البريد الإلكتروني الخام.
5. متى يجب عليّ مقارنة الوكيل بسير العمل المعتاد؟
بعد تدريب الوكيل بالكامل. تشير Braze إلى أن الوكيل الذي لا يزال في مرحلة التدريب عادةً ما يكون أداؤه أقل من البرامج المكتملة في البداية.
المصادر
- Braze،قياس أداء Decisioning Studio Go. تم الاسترجاع في 16 أكتوبر 2026.
- Braze،تقرير الأداء. تم الاسترجاع في 16 أكتوبر 2026.
- Braze،تقرير التشخيص. تم الاسترجاع في 16 أكتوبر 2026.
- Braze،تقرير الجدول الزمني. تم الاسترجاع في 16 أكتوبر 2026.
CustomerIK هي شريك تنفيذ لـ Braze، وتعمل في مجالات الإعداد، والتكامل التقني، وعمليات التسويق، وإدارة بيانات العملاء.
إذا كنت تخطط لإجراء اختبار عبر Decisioning Studio وترغب في تصميم المقارنة قبل الإطلاق، فلنتحدث.
.svg)
