اختبار مرجعي للذكاء الاصطناعي الصوتي: Retell في المرتبة الأولى بدقة سير عمل Medicare

أجرى اختبار مرجعي جديد للذكاء الاصطناعي الصوتي تجربةً على وكيل تأمين Medicare واحد، فشغّله على ست منصّات مختلفة دون تغيير سطر واحد، ثم قاس أيّها التزم فعليًا بسير العمل. وقد جاءت Retell في المرتبة الأولى.

الاختبار صادر عن Cekura، وهي شركة مستقلّة تبني أدوات تقييم للوكلاء الصوتيين. وقد شملت تجربتها الخاصة بـ Medicare 414 مكالمة إجمالًا، وقيّمت كل منصّة بحسب مدى موثوقيتها في إدارة محادثة تأمينية خاضعة للتنظيم.

تصدّرت Retell المجموعة بدقة سير عمل بلغت 95.7%، بنجاحها في 22 من 23 اختبارًا. أما بقية المنصّات فتراوحت نتائجها بين 65.2% و95.7%، رغم أنها كلها شغّلت الوكيل نفسه تمامًا.

الخلاصة السريعة

• نشرت Cekura وكيل Medicare واحدًا مطابقًا بالبايت على ست منصّات صوتية، وأجرت 414 مكالمة.

• حلّت Retell في المرتبة الأولى بدقة سير عمل 95.7%، بنجاحها في 22 من 23 مقيّمًا.

• تراوحت النتائج بين 65.2% و95.7%، أي أن المنصّة، لا الوكيل، هي التي أحدثت الفرق.

• حافظت Retell على المرتبة الأولى أيضًا في التقييم الصارم من الطرف إلى الطرف، الذي يحتسب أعطال التشغيل، وبالنسبة نفسها 95.7%.

• في مكالمة Medicare الخاضعة للتنظيم، هذا الفارق هو الفرق بين تحويل مطابق للأنظمة وآخر مقطوع أو غير مطابق.

ما الذي اختبره الاختبار المرجعي للذكاء الاصطناعي الصوتي من Cekura

بنت Cekura وكيل TPMO واحدًا لـ Medicare ونشرت نسخة مطابقة بالبايت منه على كل من المنصّات الست. نفس الـ prompt، ونفس الأدوات، ونفس الصوت. المتغيّر الوحيد كان المنصّة التي تعمل في الأساس.

وTPMO هي منظمة تسويق تابعة لجهة خارجية، أي ذلك النوع من الوكالات المرخّصة التي تبيع خطط Medicare Advantage وPart D. وهذه المكالمات خاضعة لتنظيم صارم، لذا على الوكيل أن يصيب في أمور كثيرة، وبترتيب ثابت.

استخدم الاختبار 23 مقيّمًا، يستهدف كل منها نقطة يكثر فيها تعثّر مكالمات التأمين. وتوزّعت على أربع مجموعات: بدء المكالمة والحصول على الإذن، وتحديد ما يحتاجه المتصل فعلًا، وتأهيل العملاء المحتملين وتسجيل بياناتهم، والبقاء داخل حدود حماية المستهلك.

وقد جرى تشغيل كل مقيّم ثلاث مرات على كل منصّة، ولم تُمنح المنصّة نقاطًا إلا إذا نجحت في المحاولات الثلاث كلها، وهو مقياس تسمّيه Cekura ‏pass^3. وحاصل 23 مقيّمًا في ثلاث محاولات لكل منها على ست منصّات يبلغ 414 مكالمة كاملة. ويمكنك الاطلاع على المنهجية والمحاولات لكل منصّة على صفحة الاختبار المرجعي لدى Cekura.

النتائج: Retell في المرتبة الأولى بنسبة 95.7%

في ما يلي نتائج المنصّات الست، مرتّبة بحسب دقة سير العمل:

كانت Retell المنصّة الوحيدة التي تجاوزت 95% في دقة سير العمل، وحافظت على النتيجة نفسها وفق المقياس الأصرم الموضّح أدناه.

طريقتان لقياس الموثوقية

أوردت Cekura نتيجتين لأن الوكيل الصوتي يمكن أن يفشل بطريقتين مختلفتين.

يقيس مقياس سير العمل pass^3 ما إذا كان الوكيل قد اختار الإجراء الصحيح واستدعى أدواته بشكل سليم. ويستند إلى مؤشّرَين تسمّيهما Cekura ‏Expected Outcome و‏Mock Tool Accuracy.

أما المقياس الصارم من الطرف إلى الطرف pass^3 فيضيف سؤالًا ثانيًا: هل أنجز المتصل مهمته فعلًا؟ فهو يحتسب أعطال البنية التحتية، مثل توقّف الوكيل في منتصف المكالمة، والتي تمنع المتصل من الإنجاز حتى عندما يكون الإجراء المقصود صحيحًا.

حصلت Retell على 95.7% في المقياسين، أي أنها لم تخسر شيئًا بسبب مشكلات التشغيل. بعض المنصّات خسرت. فقد نجحت Synthflow في 16 من 23 مقيّمًا في دقة سير العمل، لكن في 2 فقط من 23 وفق التقييم الصارم، لأن المتصلين كانوا كثيرًا ما يواجهون صمتًا طويلًا أثناء استخدام الأدوات دون أي إشارة إلى أن الوكيل لا يزال يعمل.

لماذا تهمّ دقة سير العمل في مكالمات Medicare

في مكالمة بيع خاصة بـ Medicare، لا يكتفي الوكيل بالإجابة عن الأسئلة. عليه أن يقدّم الإفصاح المطلوب، وأن يحصل على الموافقة قبل مناقشة الخطط، وأن يتجنّب تقديم مشورة شخصية، وأن يحوّل المتصل إلى موظف بشري مرخّص في الوقت المناسب.

هذه الخطوات تحدّدها قواعد TPMO الفيدرالية، وتجاوز إحداها مشكلة امتثال، لا مجرّد هنة صغيرة.

وهذا تحديدًا ما اختبره المقيّمون الثلاثة والعشرون. متصل يقطع الإفصاح ويطالب بتفاصيل الخطة. أحد أفراد الأسرة يتّصل بالنيابة عن المستفيد. متصل يطلب من الوكيل أن يضمن أن الخطة تغطّي دواءه. الإجراء الصحيح في كل حالة محدّد بدقة، والمنصّة التي تتوقّف أو ترتجل تُخفق في حق المتصل وفي سجلّ الامتثال في الوقت نفسه.

يُظهر الاختبار المرجعي أن تشغيل الوكيل نفسه لا يكفي. فالمنصّة التي تعمل في الأساس هي التي تحدّد ما إذا كان ذلك الوكيل سيصمد في أشدّ المكالمات خطورة.

موقع Retell من ذلك

Retell منصّة لبناء واختبار ونشر ومراقبة وكلاء صوتيين بالذكاء الاصطناعي يجرون المكالمات الهاتفية ويستقبلونها. وقد كافأ الاختبار المرجعي أمرين تقوم عليهما Retell: الالتزام بسير عمل متعدّد الخطوات، واستدعاء الأدوات بشكل صحيح تحت الضغط.

• تحويل مُمهَّد إلى موظف بشري مرخّص: عندما يحتاج المتصل إلى شخص حقيقي، يسلّم الوكيل المكالمة مع السياق الذي جمعه سابقًا، عبر تحويل المكالمات.

• إجابات من قاعدة المعرفة، لا مشورة خارج النص: يستخرج الوكيل إجابات واقعية من قاعدة المعرفة المتّصلة، ويبقى داخل حدود ما يُسمح له بقوله.

• مراجعة كل مكالمة بعد انتهائها: تستخدم الفرق تحليل ما بعد المكالمة وضمان الجودة بالذكاء الاصطناعي لمعرفة أين صمد المسار وأين تعثّر.

• مصمّمة للقطاعات الخاضعة للتنظيم: تشغّل Retell وكلاء صوتيين لفرق في الرعاية الصحية والتأمين، حيث لا يكون ترتيب الخطوات في المكالمة اختياريًا.

هذا اختبار مستقل واحد على سير عمل واحد، والنتائج تتفاوت بحسب طريقة بناء الوكيل وصيانته. ومع ذلك، في مهمة صعبة وخاضعة للتنظيم، تقدّمت Retell على بقية المنصّات.

الأسئلة الشائعة

ما هو الاختبار المرجعي للذكاء الاصطناعي الصوتي؟

الاختبار المرجعي للذكاء الاصطناعي الصوتي هو اختبار محكوم يُجري المهمة نفسها على منصّات وكلاء صوتيين مختلفة ويقيّم مدى إتقان كل منها لها. وتستخدم نسخة Cekura مكالمات متكرّرة ومقيّمين ثابتين حتى تبقى المقارنة عادلة.

من أجرى هذا الاختبار المرجعي؟

Cekura، وهي شركة مستقلّة تبني أدوات تقييم للوكلاء الصوتيين. ولم تُجرِ Retell الاختبار ولم تقيّم نفسها.

ماذا يعني pass^3؟

يعني أن على المنصّة أن تنجح مع المقيّم في ثلاث محاولات منفصلة لتُمنح نقاطه. فمحاولة واحدة موفّقة لا تُحتسب، وهذا يجعل النتيجة اختبارًا للاتساق بدلًا من مكالمة جيدة واحدة.

هل شغّلت كل المنصّات الوكيل نفسه؟

نعم. نشرت Cekura وكيل Medicare مطابقًا بالبايت على المنصّات الست جميعها، بالـ prompt والأدوات والصوت نفسها، بحيث يأتي أي فرق في النتيجة من المنصّة، لا من الوكيل.

أين يمكنني الاطلاع على النتائج الكاملة؟

تنشر Cekura المحاولات لكل منصّة والمنهجية الكاملة على صفحة الاختبار المرجعي الخاصة بها، بما في ذلك تفصيل لكل مقيّم في تجربة Medicare.

ابنِ وكيلًا صوتيًا يصمد في المكالمات الصعبة.

تتيح لك Retell بناء واختبار وإطلاق وكيل صوتي بالذكاء الاصطناعي، ثم متابعة أدائه في كل مكالمة. جرّب Retell مجانًا أو تواصل مع المبيعات.