Ο πήχης αγοράς για το φωνητικό AI μετακινήθηκε: από τη φυσική ομιλία στη γρήγορη και ασφαλή επαναληπτική βελτίωση

Τα κριτήρια αξιολόγησης για το φωνητικό AI (Τεχνητή Νοημοσύνη) είναι οι δοκιμές με τις οποίες ένας αγοραστής κρίνει αν μια πλατφόρμα φωνητικών πρακτόρων θα αντέξει στις δικές του τηλεφωνικές γραμμές. Η φυσική ομιλία ήταν παλαιότερα το καθοριστικό κριτήριο. Σήμερα είναι ο πήχης εισόδου. Όταν κάθε πάροχος της τελικής λίστας ακούγεται καλά σε μια κλήση, το καθοριστικό ερώτημα είναι πόσο γρήγορα μπορεί η ομάδα σας να αλλάξει τον πράκτορα και πόσο ασφαλώς.

Ένα μοτίβο εμφανίζεται στις συζητήσεις αγοράς. Ο πρώτος γύρος αξιολόγησης συγκρίνει φωνές, καθυστέρηση (latency) και διακοπές. Ο δεύτερος γύρος ρωτά τι συμβαίνει την 40ή ημέρα, όταν αλλάζει μια πολιτική, μια εξερχόμενη καμπάνια χρειάζεται νέο σενάριο ή κυκλοφορεί ένα νεότερο μοντέλο. Ένας πάροχος που δεν μπορεί να απαντήσει σε αυτά τα ερωτήματα με ζωντανό demo της διαδικασίας αλλαγής πουλά την εκκίνηση και αφήνει τη λειτουργία σε εσάς.

Η Retell AI δημοσιεύει αυτόν τον οδηγό και πουλά μια πλατφόρμα φωνητικών πρακτόρων. Οι ερωτήσεις ισχύουν για κάθε πάροχο, και για εμάς, και επισημαίνουμε πού έχουν όρια οι δικές μας τεκμηριωμένες απαντήσεις.

Γιατί η φυσική ομιλία δεν αρκεί πλέον για να επιλέξετε πάροχο;

Επειδή η ποιότητα της φωνής καθορίζει την πρώτη εβδομάδα ζωής ενός πράκτορα, ενώ οι αλλαγές καθορίζουν όλη τη συνέχεια. Πρέπει ακόμη να ελέγξετε ότι ο πράκτορας ακούγεται σωστά στις κλήσεις σας: ο οδηγός για το πώς να αξιολογήσετε μια πλατφόρμα φωνητικών πρακτόρων πριν από την κυκλοφορία καλύπτει την καθυστέρηση, τις διακοπές, τη μεταγραφή και τις μεταβιβάσεις κλήσεων σε ένα πιλοτικό. Όμως ένας φωνητικός πράκτορας δεν ολοκληρώνεται ποτέ. Οι καλούντες διατυπώνουν πράγματα που τα σενάριά σας δεν προέβλεπαν, οι τιμές και οι πολιτικές αλλάζουν και εμφανίζονται νέοι τύποι κλήσεων.

Κάθε μία από αυτές τις αλλαγές είναι μια κυκλοφορία σε παραγωγή σε τηλεφωνική γραμμή, όπου μια κακή πρόταση φτάνει σε έναν ζωντανό καλούντα πριν κανείς διαβάσει την απομαγνητοφώνηση. Γι' αυτό ο πήχης έχει δύο σκέλη, ταχύτητα και ασφάλεια, και γι' αυτό πρέπει να βαθμολογείτε και τα δύο.

Οι ομάδες λογισμικού ήδη μετρούν την παράδοση με αυτόν τον τρόπο. Το DORA, ένα ερευνητικό πρόγραμμα της Google Cloud, χωρίζει την απόδοση παράδοσης λογισμικού σε ρυθμό παράδοσης και αστάθεια: πόσο γρήγορα φτάνουν οι αλλαγές στην παραγωγή και πόσο συχνά χρειάζονται rollback ή hotfix. Το DORA αναφέρει ότι «η ταχύτητα και η σταθερότητα δεν είναι αντισταθμιστικά μεγέθη» και ότι οι μετρικές συσχετίζονται για τις περισσότερες ομάδες. Ένας πάροχος δεν θα έπρεπε να σας ζητά να επιλέξετε ανάμεσα στο να αλλάζετε τον πράκτορα γρήγορα και στο να τον αλλάζετε με ασφάλεια.

Σε ποιες αλλαγές πρέπει να βαθμολογήσετε έναν πάροχο;

Βαθμολογήστε τις αλλαγές που θα κάνετε πραγματικά, όχι μια γενική βαθμολογία «ευκολίας χρήσης». Κάθε τύπος αλλαγής ενέχει διαφορετικό κίνδυνο, γι' αυτό ρωτήστε για τον καθένα ξεχωριστά.

Το υπόλοιπο αυτού του οδηγού μετατρέπει αυτόν τον πίνακα σε ερωτήσεις. Για την πρακτική διαδικασία κυκλοφορίας αφού επιλέξετε πλατφόρμα, δείτε πώς να δοκιμάζετε και να κυκλοφορείτε αλλαγές σε φωνητικούς πράκτορες.

Τι πρέπει να ρωτήσετε για την ταχύτητα βελτίωσης;

Ρωτήστε ποιος μπορεί να κάνει μια αλλαγή και πόσο διαρκεί μια πραγματική διόρθωση, και στη συνέχεια ζητήστε από τον πάροχο να το δείξει.

• Ποιος στην ομάδα μας μπορεί να αλλάξει τον πράκτορα και χρειάζεται μηχανικό; Η απάντηση πρέπει να κατονομάζει έναν ρόλο από τη δική σας πλευρά, όχι την ομάδα υπηρεσιών του παρόχου. Ο έλεγχος πρόσβασης της Retell διαχωρίζει τους ρόλους που μπορούν να δημιουργούν, να δοκιμάζουν και να επεξεργάζονται πράκτορες από έναν ρόλο Member μόνο για ανάγνωση.
• Πόσος χρόνος μεσολαβεί από μια αποτυχημένη κλήση έως μια διόρθωση στις ζωντανές κλήσεις; Μην αποδεχτείτε εκτίμηση. Επιλέξτε μια αποτυχημένη πιλοτική κλήση, ιδανικά μία που δείχνει έναν γνωστό τρόπο αποτυχίας φωνητικού πράκτορα, και ζητήστε από τον δικό σας υπεύθυνο να τη διορθώσει, να την ελέγξει και να την κυκλοφορήσει ενώ παρακολουθείτε.
• Μπορούμε να δοκιμάσουμε περισσότερες από μία διορθώσεις ταυτόχρονα; Οι εκδόσεις πράκτορα της Retell σάς επιτρέπουν να δημιουργήσετε ένα πρόχειρο από οποιαδήποτε προηγούμενη έκδοση και να διατηρείτε πολλά πρόχειρα ταυτόχρονα για να δοκιμάζετε διαφορετικές προσεγγίσεις.
• Μπορεί μια αποτυχημένη κλήση να γίνει περίπτωση δοκιμής (test case) χωρίς να τη γράψουμε με το χέρι; Στη Retell, το Conductor μπορεί να μετατρέψει μια κλήση από το Call History ή το AI QA σε περίπτωση δοκιμής προσομοίωσης, συντάσσοντας την περσόνα και τα κριτήρια επιτυχίας. Η τεκμηρίωσή του προειδοποιεί ότι πρέπει να ελέγχετε κάθε περίπτωση και να κάνετε mock σε κάθε function που φτάνει σε ζωντανό endpoint.
• Μπορεί η σουίτα δοκιμών παλινδρόμησης (regression) να εκτελείται από το δικό μας pipeline; Το batch test API της Retell ξεκινά μια παρτίδα δοκιμών και, μέσω polling, επιστρέφει τον αριθμό επιτυχιών, αποτυχιών και σφαλμάτων, ώστε μια εργασία CI να ελέγχει τα αποτελέσματα πριν από την ανάπτυξη.
• Σημαίνει η αλλαγή μοντέλου επανεγγραφή; Για πράκτορες single-prompt και multi-prompt, η τεκμηρίωση της Retell αναφέρει ότι μπορείτε να αλλάξετε μοντέλο αργότερα χωρίς να ξαναγράψετε το prompt σας.
• Πόσο κοστίζει η βελτίωση; Στη Retell, οι δοκιμές χρεώνονται με τις τιμές παραγωγής, ανά μήνυμα για δοκιμές κειμένου και ανά λεπτό για δοκιμές web και τηλεφώνου. Προϋπολογίστε το, γιατί μια σουίτα που δεν έχετε την οικονομική δυνατότητα να ξανατρέξετε δεν θα ξανατρέξει.

Τι πρέπει να ρωτήσετε για την ασφάλεια της βελτίωσης;

Ρωτήστε πώς περιορίζεται μια αλλαγή πριν από την κυκλοφορία, πώς εκτίθεται μετά την κυκλοφορία και πόσο γρήγορα μπορεί να αναιρεθεί.

• Είναι κάθε αλλαγή μια σταθερή έκδοση στην οποία μπορείτε να επιστρέψετε; Στη Retell, η δημοσίευση μιας πρόχειρης έκδοσης πράκτορα την καθιστά μόνο για ανάγνωση, «δίνοντάς σας μια σταθερή διαμόρφωση στην οποία μπορείτε να επιστρέψετε αργότερα». Η έννοια εξηγείται στο λήμμα διαχείριση εκδόσεων prompt.
• Μπορούμε να δούμε ακριβώς τι άλλαξε; Η σύγκριση εκδόσεων της Retell εμφανίζει δύο εκδόσεις δίπλα-δίπλα, με diff σε επίπεδο λέξης για μεγάλα κείμενα prompt και για αλλαγές σε συνδεδεμένες βάσεις γνώσεων και functions.
• Μπορεί μια αλλαγή να φτάσει σε λίγους καλούντες πριν φτάσει σε όλους; Το SRE workbook της Google ορίζει το canarying ως «μια μερική και χρονικά περιορισμένη ανάπτυξη μιας αλλαγής σε μια υπηρεσία και την αξιολόγησή της». Στη Retell, το A/B testing κατανέμει την εισερχόμενη ή εξερχόμενη κίνηση ενός αριθμού μεταξύ πρακτόρων κατά ποσοστό. Κάθε πράκτορας ξεκινά επίσης με τα tags περιβάλλοντος prod και staging, ώστε να μπορείτε να κατευθύνετε το staging σε μια νέα έκδοση και να την καλέσετε πρώτα σε έναν δοκιμαστικό αριθμό.
• Πώς κάνουμε rollback και ακολουθεί κάθε αριθμός; Στη Retell, μετακινείτε το tag prod πίσω στην προηγούμενη έκδοση και οι αριθμοί που είναι συνδεδεμένοι στο tag το ακολουθούν. Οι αριθμοί που έχουν ανατεθεί απευθείας σε μια έκδοση παραμένουν σε αυτή την έκδοση, γι' αυτό ρωτήστε πώς ελέγχετε ποιοι αριθμοί χρησιμοποιούν το tag.
• Τι μας δείχνει ότι μια αλλαγή χειροτέρεψε τα πράγματα; Ο πίνακας αναλυτικών στοιχείων της Retell αναλύει τις μετρικές ανά έκδοση πράκτορα, οι κανόνες ειδοποιήσεων μπορούν να περιοριστούν σε tags περιβάλλοντος και να συγκριθούν με τον προηγούμενο κύκλο, και το AI QA βαθμολογεί ένα δείγμα κλήσεων για προβλήματα όπως οι παραισθήσεις (hallucinations).

Έπειτα κάντε την ερώτηση που παραλείπουν οι περισσότερες αξιολογήσεις: ποιες αλλαγές παρακάμπτουν τη διαδικασία κυκλοφορίας; Κάθε πλατφόρμα έχει κάποιες. Ένας πάροχος που κατονομάζει τις δικές του είναι ευκολότερο να λειτουργηθεί με ασφάλεια από έναν που ισχυρίζεται ότι δεν υπάρχουν. Ακολουθούν αυτές της Retell, από την τεκμηρίωσή της:

• Κοινόχρηστα subflows. Ένα library subflow είναι κοινόχρηστο μεταξύ πρακτόρων και μια επεξεργασία του φτάνει σε κάθε πράκτορα που το χρησιμοποιεί, συμπεριλαμβανομένων των δημοσιευμένων εκδόσεων. Η τεκμηρίωση συνιστά να το μετατρέψετε σε τοπικό subflow πριν από τη δημοσίευση, αν θέλετε να το αποτρέψετε.
• Γνώση με αυτόματη ανανέωση. Με ενεργή την αυτόματη ανανέωση, μια βάση γνώσεων ανακτά ξανά τις πηγές URL της και επανασυγχρονίζει τα συνδεδεμένα αρχεία που άλλαξαν κάθε 24 ώρες, οπότε μια επεξεργασία σε μια σελίδα-πηγή μπορεί να φτάσει στις απαντήσεις με την επόμενη ανανέωση αντί μέσω νέας έκδοσης πράκτορα.
• Καμπάνιες ρυθμισμένες στο πιο πρόσφατο πρόχειρο. Ένα βήμα καμπάνιας μπορεί να χρησιμοποιεί μια σταθερή έκδοση, την πιο πρόσφατη δημοσιευμένη έκδοση, ένα tag ή την πιο πρόσφατα δημιουργημένη έκδοση. Η τεκμηρίωση του Dialer προειδοποιεί κατά της επιλογής Latest Created, επειδή ένα πρόχειρο που ακόμη επεξεργάζεστε φτάνει σε ζωντανές κλήσεις με την επόμενη κλήση.

Χρειάζονται διαφορετικές ερωτήσεις οι εξερχόμενες καμπάνιες και οι αλλαγές μοντέλου;

Ναι, επειδή και οι δύο αλλάζουν τις ζωντανές κλήσεις με τρόπους που μια επεξεργασία prompt δεν τις αλλάζει.

Καμπάνιες. Μια εξερχόμενη καμπάνια σε εξέλιξη είναι πολλές μελλοντικές κλήσεις σε ουρά για έναν πράκτορα. Ρωτήστε ποια έκδοση χρησιμοποιεί κάθε κλήση και τι μπορείτε να αλλάξετε όταν η καμπάνια έχει ξεκινήσει. Ο Dialer της Retell καθορίζει την έκδοση πράκτορα σε κάθε κλήση, όχι κατά την εκκίνηση, οπότε μια σταθερή έκδοση κρατά τον πράκτορα σταθερό για όλη την καμπάνια, ενώ η επιλογή Latest Published ενσωματώνει σε αυτήν τις δημοσιευμένες αλλαγές. Η ακολουθία και η λίστα επαφών κλειδώνουν κατά την εκκίνηση και η αλλαγή τους σημαίνει αντιγραφή της καμπάνιας. Η παύση σταματά τις νέες κλήσεις μέσα σε περίπου ένα λεπτό, ενώ οι κλήσεις που έχουν ήδη πραγματοποιηθεί ολοκληρώνονται.

Μοντέλα. Μια αλλαγή μοντέλου μπορεί να αλλάξει ταυτόχρονα τη διατύπωση, τις κλήσεις εργαλείων και τον χρονισμό. Ρωτήστε αν η ίδια σουίτα δοκιμών μπορεί να εκτελεστεί στο παλιό και στο νέο μοντέλο και αν μπορείτε να χρησιμοποιήσετε ένα γρήγορο εφεδρικό μοντέλο. Για φωνητικούς πράκτορες σε μοντέλα που διαχειρίζεται η Retell, οι ρυθμίσεις LLM της Retell προσφέρουν ένα γρήγορο fallback μοντέλο που λειτουργεί παράλληλα με το κύριο, και η τεκμηρίωση συνιστά να ελέγξετε ότι και τα δύο μοντέλα ακολουθούν τις οδηγίες και καλούν σωστά τα εργαλεία πριν από την ανάπτυξη. Συνιστά επίσης να ξαναδοκιμάζετε τις οδηγίες και τις κλήσεις εργαλείων μετά την αλλαγή του temperature.

Πώς βαθμολογείτε τους παρόχους στη γρήγορη και ασφαλή βελτίωση;

Εκτελέστε τις ίδιες τέσσερις ασκήσεις σε κάθε πλατφόρμα της τελικής λίστας κατά τη διάρκεια του πιλοτικού, με το άτομο που θα είναι υπεύθυνο για τον πράκτορα να κάνει τη δουλειά, και χρονομετρήστε την καθεμία.

Βαθμολογήστε την ταχύτητα και την ασφάλεια ξεχωριστά, από ένα έως πέντε η καθεμία, και μην αφήνετε μια υψηλή βαθμολογία στη μία να κρύβει μια χαμηλή στην άλλη. Μια πλατφόρμα όπου οι διορθώσεις κυκλοφορούν σε μία ώρα αλλά δεν μπορούν να αναιρεθούν αποτυγχάνει. Το ίδιο και μια πλατφόρμα όπου κάθε αλλαγή είναι ασφαλής αλλά απαιτεί αίτημα (ticket) στον πάροχο. Η συμβουλή του ίδιου του DORA για τη βελτίωση και των δύο ταυτόχρονα είναι να διατηρείτε κάθε αλλαγή μικρή: «Από τις μικρότερες αλλαγές είναι επίσης ευκολότερη η ανάκαμψη σε περίπτωση αποτυχίας.»

Δύο άλλες σελίδες καλύπτουν συναφείς αποφάσεις. Το αν θα αναπτύξετε, θα αγοράσετε ή θα χρησιμοποιήσετε μια διαχειριζόμενη υπηρεσία καθορίζει ποιος θα εκτελέσει αυτές τις ασκήσεις· δείτε ανάπτυξη ή αγορά φωνητικών πρακτόρων AI. Η οικονομική τεκμηρίωση του προγράμματος βρίσκεται στο ROI των φωνητικών πρακτόρων AI. Αυτή η κάρτα βαθμολογίας προϋποθέτει ότι και τα δύο έχουν διευθετηθεί και ρωτά μόνο αν η ομάδα σας μπορεί να συνεχίσει να βελτιώνει τον πράκτορα. Ποιες κλήσεις θα αυτοματοποιήσετε πρώτα είναι ξεχωριστή απόφαση, που καλύπτεται στο πώς να επιλέξετε περιπτώσεις χρήσης φωνητικού AI.

Συχνές ερωτήσεις

Ποια είναι τα σημαντικότερα κριτήρια κατά την αξιολόγηση μιας πλατφόρμας φωνητικού AI;

Ξεκινήστε από το αν ολοκληρώνει τη ροή εργασιών σας στις δικές σας κλήσεις, αν ταιριάζει με τα τηλεφωνικά συστήματα και τα συστήματα δεδομένων σας και αν ακούγεται φυσική. Μόλις οι πάροχοι της τελικής λίστας περάσουν αυτά, το κριτήριο που τους διαφοροποιεί είναι η βελτίωση: πόσο γρήγορα μπορεί η ομάδα σας να αλλάξει prompts, γνώση, ροές, καμπάνιες και μοντέλα, και πόσο ασφαλώς φτάνουν αυτές οι αλλαγές στους ζωντανούς καλούντες.

Πώς ελέγχετε πόσο γρήγορα σας επιτρέπει ένας πάροχος να αλλάξετε έναν φωνητικό πράκτορα;

Επιλέξτε μια αποτυχημένη κλήση από το πιλοτικό και ζητήστε από το άτομο που θα είναι υπεύθυνο για τον πράκτορα να τη διορθώσει, να την ελέγξει, να την κυκλοφορήσει σε έναν δοκιμαστικό αριθμό και να κάνει rollback ενώ χρονομετράτε. Επαναλάβετε με μια αλλαγή γνώσης και μια αλλαγή μοντέλου σε πρόχειρο. Ένα ηχογραφημένο demo από το προσωπικό του ίδιου του παρόχου δεν μετράει.

Τι κάνει ασφαλή μια αλλαγή σε φωνητικό πράκτορα;

Μια ασφαλής αλλαγή είναι μια σταθερή έκδοση με ορατό diff, περνά μια αποθηκευμένη σουίτα δοκιμών πριν από την κυκλοφορία, φτάνει πρώτα σε ένα μικρό ποσοστό κλήσεων και μπορεί να αναιρεθεί (rollback) με μία κίνηση. Πρέπει επίσης να γνωρίζετε ποιες αλλαγές παρακάμπτουν αυτή τη διαδικασία, όπως τα κοινόχρηστα στοιχεία ή η γνώση με αυτόματη ανανέωση.

Ποιος πρέπει να εκτελεί τις ασκήσεις βελτίωσης κατά τη διάρκεια ενός πιλοτικού;

Το άτομο που θα είναι υπεύθυνο για τον πράκτορα μετά την κυκλοφορία, όχι η ομάδα του παρόχου. Ορισμένες ομάδες αναθέτουν αυτόν τον ρόλο σε έναν CX automation engineer, τον εσωτερικό υπεύθυνο που εντοπίζει κλήσεις με κακό χειρισμό, δημιουργεί διορθώσεις, τις ελέγχει και τις αναπτύσσει.

Μπορείτε να αλλάξετε το γλωσσικό μοντέλο πίσω από έναν φωνητικό πράκτορα χωρίς να τον ξαναφτιάξετε;

Πολλές πλατφόρμες το επιτρέπουν, αλλά δεν πρέπει να κάνετε την αλλαγή στα τυφλά. Εκτελέστε την ίδια σουίτα δοκιμών και στα δύο μοντέλα, συγκρίνετε τα αποτελέσματα και κυκλοφορήστε το νέο μοντέλο πρώτα σε ένα ποσοστό κλήσεων. Στους πράκτορες single-prompt και multi-prompt της Retell, η τεκμηρίωση αναφέρει ότι μπορείτε να αλλάξετε μοντέλο αργότερα χωρίς να ξαναγράψετε το prompt σας, και συνιστά να ελέγχετε ότι ένα fallback μοντέλο ακολουθεί τις οδηγίες σας και να ξαναδοκιμάζετε τις κλήσεις εργαλείων μετά την αλλαγή του temperature.

Βάλτε τη βελτίωση στην κάρτα αξιολόγησής σας

Ο πήχης αγοράς για το φωνητικό AI μετακινήθηκε από το «ακούγεται ανθρώπινο;» στο «μπορούμε να το αλλάξουμε γρήγορα χωρίς να χαλάσουμε τις κλήσεις;». Η Retell είναι μια πλατφόρμα φωνητικών πρακτόρων AI για κέντρα επικοινωνίας, με πρόχειρες εκδόσεις, σύγκριση εκδόσεων, tags περιβάλλοντος, προσομοίωση και μαζικές δοκιμές, κατανομή κίνησης A/B και AI QA, ώστε το άτομο που είναι υπεύθυνο για τον πράκτορα να μπορεί να δοκιμάσει, να κυκλοφορήσει και να αναιρέσει μια αλλαγή χωρίς να περιμένει τον πάροχο. Η τιμολόγηση είναι πληρωμή με τη χρήση από $0,07 ανά λεπτό, όπως θα δείτε στη σελίδα τιμολόγησης. Φέρτε την πιο δύσκολη αλλαγή σας στο πιλοτικό και χρονομετρήστε την.