Γιατί το πολύγλωσσο φωνητικό AI αποτυγχάνει στη μετάβαση προφοράς

Η εναλλαγή κωδίκων (code-switching) είναι όταν ένας ομιλητής μετακινείται μεταξύ δύο γλωσσών μέσα στην ίδια συνομιλία, συχνά μέσα στην ίδια πρόταση. Είναι η περίπτωση που ένα τεστ ανά γλώσσα δεν καλύπτει ποτέ. Ένας πράκτορας μπορεί να περάσει ένα τεστ στα ισπανικά και ένα στα αγγλικά και παρ' όλα αυτά να ακούγεται λάθος την πρώτη φορά που ένας καλών λέει «Quiero cambiar mi appointment para el viernes.» Το σημάδι είναι η μετάβαση προφοράς (accent handoff): η στιγμή που ο πράκτορας ακούει ή λέει μια αγγλική λέξη μέσα στην άλλη γλώσσα και τη χειρίζεται με τρόπο που κανένας ντόπιος ομιλητής δεν θα τη χειριζόταν.

Ο οδηγός αυτός απευθύνεται σε ομάδες κέντρων επικοινωνίας, καθώς και στα πρακτορεία και τις εταιρείες BPO που δημιουργούν λύσεις για αυτές, όταν βάζουν φωνητικούς πράκτορες να εξυπηρετούν δίγλωσσους καλούντες. Καλύπτει πού αποτυγχάνουν οι κλήσεις με εναλλαγή κωδίκων, το τεστ που πρέπει να εκτελέσετε πριν από την κυκλοφορία και τις ρυθμίσεις που διορθώνουν όσα εντοπίζει.

Τι είναι η εναλλαγή κωδίκων και γιατί έχει σημασία στο τηλέφωνο;

Η εναλλαγή κωδίκων είναι συνηθισμένη δίγλωσση ομιλία. Ένας καλών μιλά κυρίως σε μία γλώσσα και παρεμβάλλει λέξεις ή φράσεις από μια άλλη: ένα όνομα προϊόντος, «email», «link», «appointment», έναν αριθμό λογαριασμού που εκφωνείται στα αγγλικά. Αυτές οι αγγλικές λέξεις συνήθως έχουν την προφορά του ίδιου του ομιλητή, όχι αμερικανική.

Οι καλούντες που το κάνουν αυτό δεν αποτελούν μια μικρή εξαίρεση. Το U.S. Census Bureau κατέγραψε 67,8 εκατομμύρια άτομα στις Ηνωμένες Πολιτείες που μιλούσαν στο σπίτι γλώσσα διαφορετική από τα αγγλικά το 2019. Πρόκειται για σχεδόν 1 στους 5, και τα ισπανικά αντιστοιχούσαν στο 62% αυτών. Από αυτούς τους ισπανόφωνους, το 39% δήλωσε ότι μιλά αγγλικά λιγότερο από «πολύ καλά», που σημαίνει ότι οι περισσότεροι μιλούν επίσης πολύ καλά αγγλικά. Οι δίγλωσσοι καλούντες είναι αυτοί που μπορούν να αναμειγνύουν τις δύο γλώσσες, και ένας πράκτορας που δημιουργείται για αυτούς θα πρέπει να το αναμένει.

Πού αποτυγχάνει μια κλήση με εναλλαγή κωδίκων;

Αποτυγχάνει σε τέσσερα σημεία. Το καθένα εμφανίζεται μόνο εκεί όπου συναντώνται οι δύο γλώσσες, οπότε η δοκιμή κάθε γλώσσας χωριστά τα χάνει και τα τέσσερα.

• Ακοή. Το σύστημα μεταγραφής πρέπει να πιάσει μια αγγλική λέξη ειπωμένη με ισπανική ή ινδική προφορά στη μέση μιας μη αγγλικής πρότασης. Ένας πράκτορας μίας γλώσσας κάνει μεταγραφή σε μία μόνο γλώσσα. Ένας πολύγλωσσος πράκτορας που συνδυάζει διαφορετικές γλωσσικές οικογένειες, όπως τα αγγλικά και τα ισπανικά, χρησιμοποιεί μια διαδικασία επεξεργασίας ομιλίας. Τα έγγραφα της Retell για την πολυγλωσσία τη χαρακτηρίζουν «λιγότερο ακριβή ανά γλώσσα από τα μοντέλα μίας γλώσσας».
• Γλώσσα απάντησης. Μία αγγλική λέξη από τον καλούντα δεν θα πρέπει να γυρίζει τον πράκτορα στα αγγλικά. Για έναν πολύγλωσσο πράκτορα της Retell, τα έγγραφα αναφέρουν ότι ο πράκτορας «επιτρέπεται να απαντά σε οποιαδήποτε από τις επιλεγμένες γλώσσες και επιλέγει με βάση τη γλώσσα που μιλά ο καλών (και τυχόν οδηγίες που δίνετε στο prompt)». Το prompt είναι το σημείο όπου ορίζετε τον κανόνα.
• Φωνή. Αυτή είναι η μετάβαση προφοράς. Τα ίδια έγγραφα αναφέρουν ότι ο πράκτορας «ανιχνεύει τη γλώσσα κάθε απάντησης και χρησιμοποιεί την αντίστοιχη προφορά». Αν η ανίχνευση αποτύχει, επιστρέφει στην πρώτη γλώσσα που επιλέξατε. Επίσης, «δεν χειρίζονται όλοι οι πάροχοι φωνής τις προφορές». Επειδή τα έγγραφα περιγράφουν ανίχνευση γλώσσας ανά απάντηση, πρέπει να δώσετε τη μεγαλύτερη προσοχή στις μικτές απαντήσεις, όπου μια αγγλική λέξη βρίσκεται μέσα σε μια ισπανική πρόταση.
• Μεταβίβαση. Όταν η κλήση περνά σε άλλον πράκτορα AI ή σε άνθρωπο, η γλώσσα πρέπει να περάσει μαζί της. Σε μια μεταβίβαση πράκτορα της Retell, ισχύουν η γλώσσα και η φωνή του πράκτορα προορισμού, εκτός αν ενεργοποιήσετε την επιλογή «keep the current language» (διατήρηση της τρέχουσας γλώσσας). Ένας καλών που μιλούσε ισπανικά και καταλήγει σε ουρά μόνο στα αγγλικά πρέπει να ξεκινήσει από την αρχή. Δείτε πώς λειτουργούν οι μεταβιβάσεις κλήσεων από AI σε άνθρωπο.

Οι στενά συγγενείς γλώσσες προσθέτουν έναν ακόμη κίνδυνο. Τα έγγραφα της Retell αναφέρουν ότι η αναγνώριση ομιλίας «δυσκολεύεται περισσότερο σε γλώσσες που μοιράζονται λεξιλόγιο, φωνήματα ή σύστημα γραφής». Δίνουν ως παράδειγμα τα καντονέζικα και τα μανδαρινικά και σημειώνουν ότι «οι καλούντες συχνά μεταγράφονται ως λάθος παραλλαγή των κινεζικών, γεγονός που κάνει τον πράκτορα να απαντά στη λάθος γλώσσα».

Πώς εκτελείτε ένα τεστ εναλλαγής κωδίκων πριν από την κυκλοφορία;

Δημιουργήστε ένα μικρό σύνολο δοκιμών με βάση τον τρόπο που μιλούν πραγματικά οι καλούντες σας. Ζητήστε από φυσικούς δίγλωσσους ομιλητές να το εκφωνήσουν και βαθμολογήστε τα σημεία εναλλαγής χωριστά από όλα τα υπόλοιπα.

1. Συλλέξτε τις μικτές φράσεις. Από κλήσεις που ήδη χειρίζεται το δίγλωσσο προσωπικό σας, καταγράψτε τις αγγλικές λέξεις που παρεμβάλλουν οι καλούντες στην άλλη γλώσσα: ονόματα πακέτων, «email», «link», ονόματα οδών, αριθμούς λογαριασμών, ημερομηνίες.
2. Χρησιμοποιήστε πραγματικές προφορές. Ζητήστε από φυσικούς ομιλητές από τις περιοχές των καλούντων σας να πραγματοποιήσουν τις δοκιμαστικές κλήσεις. Ένας συνάδελφος με αμερικανική προφορά δεν θα προφέρει τις αγγλικές λέξεις όπως οι καλούντες σας, οπότε το τεστ θα περάσει για λάθος λόγο.
3. Γράψτε σενάριο για κάθε μοτίβο του παρακάτω πίνακα, και προς τις δύο κατευθύνσεις.
4. Βαθμολογήστε χωριστά τις λέξεις εναλλαγής. Ένας συνολικός δείκτης ακρίβειας μπορεί να κρύψει το πρόβλημα. Μια εργασία που έγινε δεκτή στο ICASSP 2025 εξέτασε το fine-tuning μοντέλων ομιλίας σε δεδομένα χωρίς εναλλαγή κωδίκων. Διαπίστωσε ότι βελτίωσε τυπικές μετρικές, όπως το ποσοστό σφάλματος λέξεων (word error rate), σε σύνολα δοκιμών εναλλαγής κωδίκων, «παρότι οι πραγματικές λέξεις εναλλαγής χειροτερεύουν».
5. Ζητήστε από έναν φυσικό ομιλητή να αξιολογήσει τη φωνή. Για κάθε μικτή απάντηση, ρωτήστε: θα το έλεγε έτσι ένας ντόπιος δίγλωσσος ομιλητής;
6. Συμφωνήστε πρώτα το όριο επιτυχίας. Αποφασίστε ποια σφάλματα μπλοκάρουν την κυκλοφορία και ποια μπαίνουν στη λίστα διορθώσεων. Παραδείγματα σφαλμάτων που μπλοκάρουν είναι η λάθος γλώσσα απάντησης ή ένας αριθμός λογαριασμού που παρακούστηκε.

Κάθε μέθοδος δοκιμών της Retell καλύπτει ένα μέρος των παραπάνω. Η δοκιμή προσομοίωσης «εκτελείται ως συνομιλία κειμένου». Έτσι ελέγχει τη γλώσσα απάντησης και τη ροή και μπορεί να επαναληφθεί μαζικά μετά από κάθε αλλαγή, αλλά δεν μπορεί να ακούσει προφορά. Ένα τεστ web κλήσης αναπαράγει πραγματικό ήχο («ρυθμός, προφορά και λέξεις-γέμισμα») και ακολουθεί μεταβιβάσεις σε άλλον πράκτορα. Ωστόσο, οι μεταβιβάσεις σε αριθμό τηλεφώνου αποτυγχάνουν εκεί, οπότε χρησιμοποιήστε ένα τεστ τηλεφωνικής κλήσης για αυτές και για τον ήχο του παρόχου τηλεφωνίας. Για τη διαδικασία κυκλοφορίας γύρω από αυτούς τους ελέγχους, δείτε πώς να δοκιμάζετε και να κυκλοφορείτε αλλαγές σε φωνητικούς πράκτορες.

Πώς διορθώνετε όσα εντοπίζει το τεστ;

Ξεκινήστε με την πιο περιορισμένη ρύθμιση γλωσσών που εξυπηρετεί τους καλούντες σας και, στη συνέχεια, διορθώστε μεμονωμένες λέξεις. Σύμφωνα με τα έγγραφα της Retell, η μία γλώσσα είναι η πιο ακριβής ρύθμιση. Οι παραλλαγές μίας βασικής γλώσσας, όπως en-US και en-GB, έχουν την ίδια ακρίβεια, ενώ οι γλώσσες από διαφορετικές οικογένειες έχουν χαμηλότερη.

Δύο επιφυλάξεις. Τα λεξικά προφοράς εξαρτώνται από το μοντέλο φωνής. Οι φωνές της πλατφόρμας Retell υποστηρίζουν IPA και CMU και οι φωνές Cartesia και Inworld υποστηρίζουν IPA. Αντίθετα, τα ElevenLabs eleven_multilingual_v2, eleven_flash_v2_5 και eleven_v3 δεν υποστηρίζουν λεξικά. Μια φωνή ElevenLabs ρυθμισμένη σε Auto σε μη αγγλόφωνο πράκτορα καταλήγει σε μοντέλο χωρίς υποστήριξη λεξικού, οπότε ένας δίγλωσσος πράκτορας με αυτή τη ρύθμιση δεν μπορεί να χρησιμοποιήσει λεξικό. Τα έγγραφα προειδοποιούν επίσης ότι η παράκαμψη κοινών λέξεων «μπορεί να παραγάγει αφύσικη ομιλία». Επιπλέον, οι πάροχοι αναγνώρισης ομιλίας διαφέρουν. Η σελίδα παρόχων της Retell αναφέρει υποστήριξη εναλλαγής κωδίκων για τους Deepgram (για υποστηριζόμενους συνδυασμούς γλωσσών), Soniox και AssemblyAI, ενώ ο Azure υποστηρίζει μόνο μία γλώσσα.

Τι πρέπει να παρακολουθείτε μετά την κυκλοφορία;

Οι ζωντανές κλήσεις θα αναδείξουν μοτίβα εναλλαγής που δεν κάλυψε το σύνολο δοκιμών σας. Προσθέστε ένα πεδίο εξαγωγής μετά την κλήση, όπως έναν επιλογέα για τη γλώσσα που χρησιμοποίησε ο καλών, για να απομονώσετε τις δίγλωσσες κλήσεις. Στη συνέχεια, εκτελέστε AI QA σε ένα δείγμα και διαβάστε κάθε μεταγραφή στα σημεία εναλλαγής. Ο οδηγός για τους τρόπους αποτυχίας φωνητικών πρακτόρων σας βοηθά να ξεχωρίσετε ένα σφάλμα μεταγραφής από μια λάθος απάντηση. Το πρότυπο βαθμολόγησης QA δίνει στον έλεγχο σταθερή δομή.

Κάθε μικτή φράση που μπερδεύει τον πράκτορα μπαίνει στο σύνολο δοκιμών πριν κυκλοφορήσει η επόμενη αλλαγή. Αν δύο φωνές περνούν τον έλεγχο με φυσικούς ακροατές, το A/B testing μπορεί να μοιράσει τη ζωντανή κίνηση μεταξύ δύο πρακτόρων κατά ποσοστό.

Συχνές ερωτήσεις

Τι είναι η εναλλαγή κωδίκων στο φωνητικό AI;

Η εναλλαγή κωδίκων είναι όταν ένας καλών μετακινείται μεταξύ δύο γλωσσών σε μία κλήση ή μία πρόταση, για παράδειγμα σε μια ισπανική πρόταση με μια αγγλική λέξη μέσα. Ο πράκτορας πρέπει να μεταγράψει και τις δύο, να απαντήσει στη σωστή και να προφέρει τις μικτές λέξεις όπως ένας ντόπιος ομιλητής.

Πρέπει ένας πράκτορας να χειρίζεται και τις δύο γλώσσες ή να χρησιμοποιήσω έναν πράκτορα ανά γλώσσα;

Χρησιμοποιήστε έναν πράκτορα ανά γλώσσα ή ορίστε τη γλώσσα ανά κλήση, όποτε ο αριθμός που κλήθηκε, τα δεδομένα του CRM ή ένα βήμα επιλογής γλώσσας σας δείχνουν τη γλώσσα του καλούντος. Σύμφωνα με τα έγγραφα της Retell, η μία γλώσσα είναι η πιο ακριβής ρύθμιση. Χρησιμοποιήστε πολύγλωσσο πράκτορα όταν δεν μπορείτε να γνωρίζετε τη γλώσσα εκ των προτέρων, και ενεργοποιήστε μόνο τις γλώσσες που χρησιμοποιούν οι καλούντες σας.

Μπορούν τα αυτοματοποιημένα τεστ προσομοίωσης να εντοπίσουν προβλήματα εναλλαγής κωδίκων;

Εν μέρει. Τα τεστ προσομοίωσης της Retell εκτελούνται ως κείμενο, οπότε ελέγχουν σε ποια γλώσσα απαντά ο πράκτορας, αλλά όχι την προφορά ή την εκφορά των λέξεων. Χρησιμοποιήστε web κλήσεις με φυσικούς δίγλωσσους ομιλητές για τη φωνή και τηλεφωνικές κλήσεις για μεταβιβάσεις σε άνθρωπο.

Γιατί ένας πολύγλωσσος πράκτορας ακούγεται καλά σε κάθε γλώσσα αλλά λάθος στη μικτή ομιλία;

Κάθε γλώσσα λειτουργεί σωστά μόνη της, αλλά τα σημεία εναλλαγής αποτυγχάνουν. Το σύστημα μεταγραφής μπορεί να χάσει μια αγγλική λέξη με προφορά και ο πράκτορας μπορεί να απαντήσει στη λάθος γλώσσα. Επιπλέον, τα έγγραφα περιγράφουν ότι η φωνή ανιχνεύει τη γλώσσα ανά απάντηση, οπότε οι μικτές απαντήσεις είναι αυτές που πρέπει να ελέγξετε. Βαθμολογήστε χωριστά τις λέξεις εναλλαγής και τις μικτές απαντήσεις.

Πώς διορθώνω μια λέξη που ο πράκτορας συνεχίζει να προφέρει λάθος;

Προσθέστε μια καταχώριση στο λεξικό προφοράς σε IPA ή CMU και χρησιμοποιήστε το Test Pronunciation για να την ακούσετε με τη φωνή του πράκτορα. Ελέγξτε πρώτα ότι το μοντέλο φωνής σας υποστηρίζει λεξικά, καθώς ορισμένα πολύγλωσσα μοντέλα δεν τα υποστηρίζουν.

Δοκιμάστε δίγλωσσες κλήσεις με τη Retell AI

Η Retell υποστηρίζει τρεις ρυθμίσεις: πράκτορες μίας γλώσσας, πολύγλωσσους πράκτορες με συγκεκριμένο σύνολο γλωσσών και έναν πράκτορα ανά γλώσσα, συνδεδεμένους μέσω μεταβίβασης πράκτορα. Όλες μπορούν να δοκιμαστούν πριν τις ακούσουν οι καλούντες, με προσομοίωση (εκτός από πράκτορες με Προσαρμοσμένο LLM), web κλήσεις και τηλεφωνικές κλήσεις. Δείτε τους πολύγλωσσους φωνητικούς πράκτορες AI της Retell και τον δίγλωσσο εικονικό ρεσεψιονίστ. Μπορείτε επίσης να συγκρίνετε προμηθευτές στο άρθρο οι 8 καλύτεροι πολύγλωσσοι φωνητικοί πράκτορες AI ή να ξεκινήσετε με τα βασικά της πολύγλωσσης ρύθμισης.