Perché l'IA vocale multilingue fallisce nel passaggio di accento

Il code-switching è il passaggio di chi parla da una lingua all'altra all'interno della stessa conversazione, spesso della stessa frase, ed è il caso che un test lingua per lingua non copre mai. Un agente può superare un test in spagnolo e uno in inglese e suonare comunque sbagliato la prima volta che chi chiama dice "Quiero cambiar mi appointment para el viernes." Il segnale rivelatore è il passaggio di accento: il momento in cui l'agente sente o pronuncia una parola inglese all'interno dell'altra lingua e la gestisce come nessun parlante locale farebbe.

Questa guida è pensata per i team di contact center, e per le agenzie e i BPO che lavorano per loro, che mettono agenti vocali davanti a interlocutori bilingui. Spiega dove si rompono le chiamate con code-switching, quale test eseguire prima del lancio e quali impostazioni correggono ciò che il test rileva.

Che cos'è il code-switching e perché è importante al telefono?

Il code-switching è il normale modo di parlare delle persone bilingui. Chi chiama parla soprattutto in una lingua e inserisce parole o frasi di un'altra: il nome di un prodotto, "email", "link", "appointment", un numero di conto letto in inglese. Queste parole inglesi tendono a portare l'accento di chi parla, non un accento americano.

Chi parla in questo modo non è una nicchia. Lo U.S. Census Bureau ha contato 67,8 milioni di persone negli Stati Uniti che nel 2019 parlavano a casa una lingua diversa dall'inglese, quasi 1 su 5, e lo spagnolo rappresentava il 62% di loro. Di questi ispanofoni, il 39% ha dichiarato di parlare inglese meno che "molto bene", il che significa che la maggior parte parla anche l'inglese molto bene. Sono proprio gli interlocutori bilingui a poter mescolare le due lingue, e un agente costruito per loro dovrebbe aspettarselo.

Dove si rompe una chiamata con code-switching?

Si rompe in quattro punti, e ciascuno emerge solo dove le due lingue si incontrano: testare ogni lingua separatamente li manca tutti e quattro.

• Ascolto. Il sistema di trascrizione deve cogliere una parola inglese pronunciata con accento spagnolo o hindi nel mezzo di una frase non inglese. Un agente monolingue trascrive in una sola lingua. Un agente multilingue che attraversa famiglie linguistiche diverse, come inglese e spagnolo, usa una pipeline vocale che la documentazione multilingue di Retell definisce "meno accurata per singola lingua rispetto ai modelli monolingue."
• Lingua della risposta. Una sola parola inglese di chi chiama non dovrebbe far passare l'agente all'inglese. Per un agente multilingue di Retell, la documentazione dice che l'agente "può rispondere in una qualsiasi delle lingue selezionate e sceglie in base a ciò che parla chi chiama (e alle eventuali istruzioni che dai nel prompt)." È nel prompt che imposti la regola.
• Voce. È qui che avviene il passaggio di accento. La stessa documentazione dice che l'agente "rileva la lingua di ogni risposta e usa la pronuncia corrispondente", che torna alla prima lingua selezionata se il rilevamento non riesce, e che "non tutti i provider vocali gestiscono gli accenti." Poiché la documentazione descrive un rilevamento della lingua per singola risposta, le risposte da ascoltare con più attenzione sono quelle miste, in cui una parola inglese si trova dentro una frase spagnola.
• Passaggio. Quando la chiamata passa a un altro agente IA o a una persona, la lingua deve seguirla. In un trasferimento tra agenti di Retell, si applicano la lingua e la voce dell'agente di destinazione, a meno che tu non attivi "keep the current language". Chi ha parlato in spagnolo e finisce in una coda solo in inglese deve ricominciare da capo. Scopri come funzionano i trasferimenti di chiamata dall'IA alle persone.

Le lingue strettamente imparentate aggiungono un ulteriore rischio. La documentazione di Retell dice che il riconoscimento vocale "ha più difficoltà con le lingue che condividono vocabolario, fonemi o sistema di scrittura", con il cantonese e il mandarino come esempio, e che "chi chiama viene spesso trascritto nella variante di cinese sbagliata, il che porta l'agente a rispondere nella lingua sbagliata."

Come si esegue un test di code-switching prima del lancio?

Crea un piccolo set di test basato su come parlano davvero i tuoi interlocutori, fallo pronunciare a parlanti bilingui madrelingua e valuta i punti di passaggio separatamente da tutto il resto.

1. Raccogli le frasi miste. Dalle chiamate che il tuo personale bilingue gestisce già, elenca le parole inglesi che chi chiama inserisce nell'altra lingua: nomi dei piani, "email", "link", nomi di vie, numeri di conto, date.
2. Usa accenti reali. Fai effettuare le chiamate di test a madrelingua delle regioni da cui chiamano i tuoi clienti. Un collega con accento americano non produrrà le parole inglesi con l'accento che usano i tuoi interlocutori, quindi il test viene superato per il motivo sbagliato.
3. Prepara uno script per ogni schema della tabella qui sotto, in entrambe le direzioni.
4. Valuta separatamente le parole in altra lingua. Un dato di accuratezza complessivo può nascondere il problema. Un articolo accettato a ICASSP 2025 ha rilevato che il fine-tuning dei modelli vocali su dati senza code-switching migliorava le metriche standard, come il word error rate, sui set di test di code-switching "anche se le parole effettivamente in code-switching peggiorano."
5. Fai valutare la voce a un ascoltatore madrelingua. Per ogni risposta mista: un parlante bilingue locale la direbbe così?
6. Concorda prima la soglia di superamento. Decidi quali errori bloccano il lancio, come una lingua di risposta sbagliata o un numero di conto frainteso, e quali finiscono nella lista delle correzioni.

Ogni metodo di test di Retell copre una parte di tutto questo. Il test di simulazione "si svolge come una conversazione testuale", quindi verifica la lingua della risposta e il flusso e può essere rieseguito in batch dopo ogni modifica, ma non può sentire un accento. Un test con chiamata web riproduce audio reale ("ritmo, pronuncia e intercalari") e segue i trasferimenti verso un altro agente, ma lì i trasferimenti verso un numero di telefono non riescono, quindi usa un test con chiamata telefonica per quelli e per l'audio dell'operatore telefonico. Per il processo di rilascio che ruota attorno a questi controlli, consulta come testare e rilasciare le modifiche agli agenti vocali.

Come si correggono i problemi rilevati dal test?

Parti dalla configurazione linguistica più ristretta che serve ai tuoi interlocutori, poi correggi le singole parole. La documentazione di Retell indica una sola lingua come opzione più accurata, le varianti di una stessa lingua di base, come en-US ed en-GB, allo stesso livello, e le lingue di famiglie diverse a un livello inferiore.

Due avvertenze. I dizionari di pronuncia dipendono dal modello vocale: le voci della piattaforma Retell supportano IPA e CMU, le voci Cartesia e Inworld IPA, mentre ElevenLabs eleven_multilingual_v2, eleven_flash_v2_5 ed eleven_v3 non li supportano. Una voce ElevenLabs impostata su Auto in un agente non inglese viene risolta in un modello senza supporto ai dizionari, quindi un agente bilingue con quell'impostazione non può usarne uno. La documentazione avverte inoltre che sovrascrivere parole comuni "può produrre un parlato innaturale." Inoltre, i provider di riconoscimento vocale sono diversi tra loro: la pagina dei provider di Retell indica Deepgram (per le combinazioni di lingue supportate), Soniox e AssemblyAI con supporto al code-switching e Azure solo monolingue.

Cosa monitorare dopo il lancio?

Le chiamate reali mostreranno schemi di passaggio che il tuo set di test non ha coperto. Aggiungi un campo di estrazione post-chiamata, come un selettore per la lingua usata da chi chiama, per isolare le chiamate bilingui, poi esegui AI QA su un campione e leggi ogni trascrizione nei punti di passaggio. La guida alle modalità di errore degli agenti vocali ti aiuta a distinguere un errore di trascrizione da una risposta sbagliata, e il modello di scorecard QA dà alla revisione una struttura fissa.

Ogni frase mista che mette in difficoltà l'agente entra nel set di test prima che venga rilasciata la modifica successiva. Se due voci superano entrambe la prova con ascoltatori madrelingua, il test A/B può suddividere il traffico reale tra due agenti in percentuale.

Domande frequenti

Che cos'è il code-switching nell'IA vocale?

Il code-switching è il passaggio di chi chiama da una lingua all'altra nella stessa chiamata o nella stessa frase, come una frase spagnola con dentro una parola inglese. L'agente deve trascrivere entrambe, rispondere in quella giusta e pronunciare le parole miste come un parlante locale.

Un solo agente dovrebbe gestire entrambe le lingue, o conviene usare un agente per lingua?

Usa un agente per lingua, oppure imposta la lingua per singola chiamata, ogni volta che il numero chiamato, i dati del CRM o un passaggio di selezione della lingua ti indicano la lingua di chi chiama; la documentazione di Retell indica una sola lingua come opzione più accurata. Usa un agente multilingue quando non puoi conoscere la lingua in anticipo, solo con le lingue effettivamente usate dai tuoi interlocutori.

I test di simulazione automatizzati possono individuare i problemi di code-switching?

In parte. I test di simulazione di Retell si svolgono in forma testuale, quindi verificano in quale lingua risponde l'agente, ma non l'accento o la pronuncia. Usa chiamate web con parlanti bilingui madrelingua per la voce e chiamate telefoniche per i trasferimenti a una persona.

Perché un agente multilingue suona bene in ciascuna lingua ma sbagliato nel parlato misto?

Sono i punti di passaggio a fallire, mentre ogni lingua da sola funziona. Il sistema di trascrizione può perdere una parola inglese pronunciata con accento, l'agente può rispondere nella lingua sbagliata e la documentazione descrive una voce che rileva la lingua per singola risposta, quindi sono le risposte miste quelle da verificare. Valuta separatamente le parole in altra lingua e le risposte miste.

Come correggo una parola che l'agente continua a pronunciare male?

Aggiungi una voce nel dizionario di pronuncia in IPA o CMU e usa Test Pronunciation per ascoltarla con la voce dell'agente. Verifica prima che il tuo modello vocale supporti i dizionari, perché alcuni modelli multilingue non li supportano.

Testa le chiamate bilingui con Retell AI

Retell supporta agenti monolingue, agenti multilingue con un insieme preciso di lingue e un agente per lingua collegati tramite trasferimento tra agenti, tutti testabili con la simulazione (tranne gli agenti con LLM personalizzato), con chiamate web e con chiamate telefoniche prima che li sentano i tuoi interlocutori. Scopri gli agenti vocali con IA multilingue di Retell e il receptionist virtuale bilingue, confronta i fornitori in gli 8 migliori agenti vocali con IA multilingue oppure inizia dalle basi della configurazione multilingue.