Därför misslyckas flerspråkig röst-AI vid accentskiftet

Kodväxling är när en talare rör sig mellan två språk i ett och samma samtal, ofta i en och samma mening. Det är just det fallet som ett test språk för språk aldrig täcker. En agent kan klara ett spanskt test och ett engelskt test och ändå låta fel första gången en uppringare säger "Quiero cambiar mi appointment para el viernes." Det som avslöjar den är accentskiftet: ögonblicket när agenten hör eller säger ett engelskt ord inuti det andra språket och hanterar det på ett sätt som ingen lokal talare skulle göra.

Den här guiden riktar sig till kontaktcenterteam som sätter röstagenter framför tvåspråkiga uppringare, och till de byråer och BPO-företag som bygger åt dem. Den tar upp var kodväxlade samtal fallerar, vilket test du ska köra före lansering och vilka inställningar som åtgärdar det testet hittar.

Vad är kodväxling, och varför spelar det roll i telefon?

Kodväxling är vanligt tvåspråkigt tal. En uppringare talar mest på ett språk och slänger in ord eller fraser från ett annat: ett produktnamn, "email", "link", "appointment", ett kontonummer som läses upp på engelska. De engelska orden bär oftast talarens egen accent, inte en amerikansk.

Uppringarna som gör så är ingen nisch. U.S. Census Bureau räknade 2019 till 67,8 miljoner personer i USA som talade ett annat språk än engelska hemma, nästan 1 av 5, och spanska stod för 62 % av dem. Av de spansktalande uppgav 39 % att de talade engelska mindre än "mycket bra", vilket innebär att de flesta av dem också talar engelska mycket bra. Det är tvåspråkiga uppringare som kan blanda de två språken, och en agent som byggs för dem bör räkna med det.

Var fallerar ett kodväxlat samtal?

Det fallerar på fyra ställen, och vart och ett syns bara där de två språken möts. Om du testar varje språk för sig missar du därför alla fyra.

• Hörsel. Transkriberingen måste fånga ett engelskt ord som uttalas med spansk eller hindi-accent mitt i en icke-engelsk mening. En enspråkig agent transkriberar bara på ett språk. En flerspråkig agent som spänner över språkfamiljer, till exempel engelska och spanska, använder en talpipeline som Retell-dokumentationen om flerspråkighet beskriver som "mindre exakt per språk än enspråkiga modeller."
• Svarsspråk. Ett enda engelskt ord från uppringaren ska inte få agenten att slå över till engelska. För en flerspråkig Retell-agent säger dokumentationen att agenten "får svara på vilket som helst av de valda språken och väljer utifrån vad uppringaren talar (och eventuella instruktioner du ger i prompten)." Det är i prompten du sätter regeln.
• Röst. Det här är accentskiftet. Enligt samma dokumentation "identifierar agenten språket i varje svar och använder motsvarande uttal" och faller tillbaka på det första språket du valde om identifieringen misslyckas. Dokumentationen påpekar också att "inte alla röstleverantörer hanterar accenter." Eftersom dokumentationen beskriver språkidentifiering per svar är det de blandade svaren du ska lyssna mest noga på, alltså där ett engelskt ord sitter inuti en spansk mening.
• Överlämning. När samtalet flyttas till en annan AI-agent eller till en person måste språket följa med. Vid en agentöverföring i Retell gäller målagentens eget språk och röst, om du inte aktiverar "keep the current language" (behåll det aktuella språket). En uppringare som har talat spanska och hamnar i en kö med bara engelska får börja om. Se hur samtalsöverföringar mellan AI och människor fungerar.

Närbesläktade språk innebär ytterligare en risk. Retell-dokumentationen säger att taligenkänning "har störst svårigheter med språk som delar ordförråd, fonem eller skriftsystem", med kantonesiska och mandarin som exempel. Där står också att "uppringare rutinmässigt transkriberas som fel kinesisk variant, vilket sedan får agenten att svara på fel språk."

Hur kör du ett kodväxlingstest före lansering?

Bygg en liten testuppsättning utifrån hur dina uppringare faktiskt pratar och låt infödda tvåspråkiga talare säga fraserna. Poängsätt sedan växlingspunkterna separat från allt annat.

1. Samla in de blandade fraserna. Gå igenom samtal som din tvåspråkiga personal redan hanterar och lista de engelska ord som uppringare slänger in i det andra språket: abonnemangsnamn, "email", "link", gatunamn, kontonummer, datum.
2. Använd verkliga accenter. Låt infödda talare från dina uppringares regioner ringa testsamtalen. En kollega med amerikansk accent uttalar inte de engelska orden med samma accent som dina uppringare, och då blir testet godkänt av fel anledning.
3. Skripta varje mönster i tabellen nedan, i båda riktningarna.
4. Poängsätt de växlade orden separat. En samlad träffsäkerhetssiffra kan dölja problemet. En artikel som accepterats till ICASSP 2025 fann att finjustering av talmodeller på data utan kodväxling förbättrade standardmått som word error rate på testuppsättningar med kodväxling, "även om de faktiska kodväxlade orden blir sämre."
5. Låt en infödd lyssnare bedöma rösten. Fråga för varje blandat svar: skulle en lokal tvåspråkig talare säga det på det här sättet?
6. Kom överens om godkäntgränsen först. Bestäm vilka fel som stoppar lanseringen och vilka som hamnar på åtgärdslistan. Exempel på fel som stoppar lanseringen är fel svarsspråk eller ett felhört kontonummer.

Varje testmetod i Retell täcker en del av detta. Simuleringstestning "körs som en textkonversation". Den kontrollerar alltså svarsspråk och flöde och kan köras om som en batch efter varje ändring, men den kan inte höra en accent. Ett webbsamtalstest spelar upp riktigt ljud ("tempo, uttal och utfyllnadsord") och följer överföringar till en annan agent. Överföringar till ett telefonnummer misslyckas däremot där, så använd ett telefonsamtalstest för dem och för operatörsljud. Läs mer om releaseprocessen kring de här kontrollerna i hur du testar och släpper ändringar i röstagenter.

Hur åtgärdar du det som testet hittar?

Börja med den snävaste språkuppsättningen som fungerar för dina uppringare och åtgärda sedan enskilda ord. Retell-dokumentationen rankar ett enda språk som mest exakt. Varianter av ett och samma basspråk, som en-US och en-GB, är lika exakta, medan språk från olika familjer är mindre exakta.

Två förbehåll. För det första beror uttalsordlistor på röstmodellen. Röster på Retell-plattformen stöder IPA och CMU, och röster från Cartesia och Inworld stöder IPA. ElevenLabs eleven_multilingual_v2, eleven_flash_v2_5 och eleven_v3 har däremot inget stöd. En ElevenLabs-röst som är inställd på Auto på en icke-engelsk agent leder till en modell utan stöd för ordlistor, så en tvåspråkig agent med den inställningen kan inte använda någon. Dokumentationen varnar också för att åsidosättningar av vanliga ord "kan ge onaturligt tal." För det andra skiljer sig leverantörerna av taligenkänning åt. Leverantörssidan hos Retell listar Deepgram (för språkkombinationer som stöds), Soniox och AssemblyAI med stöd för kodväxling, medan Azure enbart är enspråkig.

Vad ska du bevaka efter lansering?

Livesamtal kommer att visa växlingsmönster som din testuppsättning missade. Lägg till ett fält för extrahering efter samtal, till exempel en väljare för vilket språk uppringaren använde, så att du kan plocka ut de tvåspråkiga samtalen. Kör sedan AI QA på ett urval och läs varje transkription vid växlingspunkterna. Guiden om felmönster för röstagenter hjälper dig att skilja ett transkriptionsfel från ett felaktigt svar, och mallen för QA-scorecard ger granskningen en fast struktur.

Varje blandad fras som får agenten att snubbla ska läggas till i testuppsättningen innan nästa ändring släpps. Om två röster båda godkänns av infödda lyssnare kan du använda A/B-testning för att fördela livetrafiken procentuellt mellan två agenter.

Vanliga frågor

Vad är kodväxling inom röst-AI?

Kodväxling är när en uppringare rör sig mellan två språk i ett samtal eller en mening, till exempel i en spansk mening som innehåller ett engelskt ord. Agenten måste transkribera båda språken, svara på rätt språk och uttala de blandade orden som en lokal talare.

Ska en agent hantera båda språken, eller ska jag använda en agent per språk?

Använd en agent per språk, eller ställ in språket per samtal, när det uppringda numret, CRM-data eller ett språkvalssteg talar om uppringarens språk för dig. Retell-dokumentationen rankar ett enda språk som mest exakt. Använd en flerspråkig agent när du inte kan veta språket i förväg, och välj då bara de språk som dina uppringare använder.

Kan automatiserade simuleringstester fånga problem med kodväxling?

Delvis. Simuleringstesterna i Retell körs som text, så de kontrollerar vilket språk agenten svarar på, men inte accent eller uttal. Använd webbsamtal med infödda tvåspråkiga talare för att testa rösten och telefonsamtal för att testa överföringar till en person.

Varför låter en flerspråkig agent bra på varje språk men fel i blandat tal?

Varje språk fungerar för sig, men växlingspunkterna fallerar. Transkriberingen kan missa ett engelskt ord med accent, och agenten kan svara på fel språk. Dessutom beskriver dokumentationen att rösten identifierar språket per svar, så det är de blandade svaren du ska kontrollera. Poängsätt växlade ord och blandade svar separat.

Hur åtgärdar jag ett ord som agenten hela tiden uttalar fel?

Lägg till en post i uttalsordlistan i IPA eller CMU och använd Test Pronunciation för att höra ordet med agentens röst. Kontrollera först att din röstmodell stöder ordlistor, eftersom vissa flerspråkiga modeller saknar det stödet.

Testa tvåspråkiga samtal med Retell AI

Retell stöder enspråkiga agenter, flerspråkiga agenter med en exakt uppsättning språk och en agent per språk som kopplas ihop med agentöverföring. Allt kan testas med simulering (utom agenter med anpassad LLM), webbsamtal och telefonsamtal innan uppringarna hör det. Se flerspråkiga AI-röstagenter och den tvåspråkiga virtuella receptionisten från Retell, jämför leverantörer i de 8 bästa flerspråkiga AI-röstagenterna eller börja med grunderna i flerspråkig konfiguration.