Hvorfor flersproget stemme-AI fejler ved accentskiftet

Code-switching er, når en taler skifter mellem to sprog i én samtale, ofte i én sætning, og det er netop det tilfælde, en test sprog for sprog aldrig dækker. En agent kan bestå en spansk test og en engelsk test og stadig lyde forkert første gang, en opkalder siger "Quiero cambiar mi appointment para el viernes." Det afslørende øjeblik er accentskiftet: når agenten hører eller siger et engelsk ord inde i det andet sprog og håndterer det på en måde, ingen lokal taler ville.

Denne guide er til kontaktcenterteams og de bureauer og BPO'er, der bygger løsninger til dem, når de sætter stemmeagenter foran tosprogede opkaldere. Den dækker, hvor opkald med code-switching går i stykker, den test du skal køre før lancering, og de indstillinger, der løser det, testen finder.

Hvad er code-switching, og hvorfor betyder det noget i telefonen?

Code-switching er helt almindelig tosproget tale. En opkalder taler mest ét sprog og indskyder ord eller vendinger fra et andet: et produktnavn, "email", "link", "appointment", et kontonummer læst op på engelsk. De engelske ord bærer typisk talerens egen accent, ikke en amerikansk.

De opkaldere, der gør det, er ikke en niche. U.S. Census Bureau talte 67,8 millioner mennesker i USA, som talte et andet sprog end engelsk derhjemme i 2019, næsten 1 ud af 5, og spansk udgjorde 62 % af dem. Af de spansktalende sagde 39 %, at de talte engelsk mindre end "meget godt", hvilket betyder, at de fleste af dem også taler engelsk meget godt. Tosprogede opkaldere er dem, der kan blande de to sprog, og en agent bygget til dem bør forvente det.

Hvor går et opkald med code-switching i stykker?

Det går i stykker fire steder, og hvert af dem viser sig kun dér, hvor de to sprog mødes. Tester du hvert sprog for sig, overser du alle fire.

• Hørelse. Transskriberingen skal fange et engelsk ord udtalt med spansk eller hindi accent midt i en ikke-engelsk sætning. En enkeltsproget agent transskriberer kun på ét sprog. En flersproget agent, der går på tværs af sprogfamilier, som engelsk og spansk, bruger en talepipeline, som Retell-dokumentationen om flersprogethed kalder "mindre præcis pr. sprog end enkeltsprogede modeller."
• Svarsprog. Ét engelsk ord fra opkalderen bør ikke få agenten til at skifte til engelsk. For en flersproget Retell-agent siger dokumentationen, at agenten "må svare på et hvilket som helst af de valgte sprog og vælger ud fra, hvad opkalderen taler (og eventuelle instruktioner, du giver i prompten)." Det er i prompten, du fastsætter reglen.
• Stemme. Det er her, accentskiftet sker. Samme dokumentation siger, at agenten "registrerer sproget i hvert svar og bruger den matchende udtale", falder tilbage til det første sprog, du valgte, hvis registreringen fejler, og at "ikke alle stemmeudbydere håndterer accenter." Fordi dokumentationen beskriver sprogregistrering pr. svar, er det de blandede svar, du skal lytte mest kritisk til: dem, hvor et engelsk ord står midt i en spansk sætning.
• Overdragelse. Når opkaldet går videre til en anden AI-agent eller til en person, skal sproget følge med. Ved en agentviderestilling i Retell gælder destinationsagentens eget sprog og stemme, medmindre du slår "keep the current language" til. En opkalder, der har talt spansk og ender i en kø kun på engelsk, må starte forfra. Se hvordan viderestilling af opkald fra AI til mennesker fungerer.

Nært beslægtede sprog tilføjer endnu en risiko. Retell-dokumentationen siger, at talegenkendelse "har sværest ved sprog, der deler ordforråd, fonemer eller skriftsystem", med kantonesisk og mandarin som eksempel, og at "opkaldere rutinemæssigt bliver transskriberet som den forkerte kinesiske variant, hvilket så får agenten til at svare på det forkerte sprog."

Hvordan kører du en code-switching-test før lancering?

Byg et lille testsæt ud fra, hvordan dine opkaldere faktisk taler, lad indfødte tosprogede talere sige det, og scor skiftepunkterne adskilt fra alt andet.

1. Indsaml de blandede vendinger. Gå ud fra de opkald, dit tosprogede personale allerede håndterer, og lav en liste over de engelske ord, opkaldere indskyder i det andet sprog: abonnementsnavne, "email", "link", gadenavne, kontonumre, datoer.
2. Brug ægte accenter. Lad indfødte talere fra dine opkalderes regioner foretage testopkaldene. En kollega med amerikansk accent vil ikke frembringe de engelske ord med accent, som dine opkaldere bruger, så testen bestås af den forkerte grund.
3. Skriv et manuskript for hvert mønster i tabellen nedenfor, i begge retninger.
4. Scor de skiftede ord for sig. Et samlet præcisionstal kan skjule problemet. En artikel accepteret til ICASSP 2025 fandt, at finjustering af talemodeller på data uden code-switching forbedrede standardmål som ordfejlraten på code-switching-testsæt, "selvom de faktiske code-switchede ord bliver dårligere."
5. Lad en indfødt lytter bedømme stemmen. For hvert blandet svar: Ville en lokal tosproget taler sige det sådan?
6. Aftal beståelseskravet først. Beslut, hvilke fejl der blokerer lanceringen, som et forkert svarsprog eller et misforstået kontonummer, og hvilke der kommer på rettelseslisten.

Hver testmetode i Retell dækker en del af dette. Simuleringstest "kører som en tekstsamtale", så den kontrollerer svarsprog og flow og kan køres igen som batch efter hver ændring, men den kan ikke høre en accent. En webopkaldstest afspiller ægte lyd ("tempo, udtale og fyldord") og følger viderestillinger til en anden agent, men viderestillinger til et telefonnummer fejler der, så brug en telefonopkaldstest til dem og til lyd fra teleoperatøren. Se hvordan du tester og udgiver ændringer i stemmeagenter for releaseprocessen omkring disse kontroller.

Hvordan retter du det, testen finder?

Start med den smalleste sprogopsætning, der dækker dine opkaldere, og ret derefter enkelte ord. Retell-dokumentationen rangerer ét enkelt sprog som mest præcist, varianter af ét grundsprog som en-US og en-GB som lige så præcise og sprog på tværs af familier lavere.

To forbehold. Udtaleordbøger afhænger af stemmemodellen: Retell-platformens stemmer understøtter IPA og CMU, Cartesia- og Inworld-stemmer IPA, mens ElevenLabs eleven_multilingual_v2, eleven_flash_v2_5 og eleven_v3 ikke gør. En ElevenLabs-stemme sat til Auto på en ikke-engelsk agent ender på en model uden ordbogsunderstøttelse, så en tosproget agent med den indstilling kan ikke bruge en ordbog. Dokumentationen advarer også om, at tilsidesættelse af almindelige ord "kan give unaturlig tale." Og udbydere af talegenkendelse er forskellige: udbydersiden hos Retell nævner Deepgram (for understøttede sprogkombinationer), Soniox og AssemblyAI med understøttelse af code-switching og Azure som kun enkeltsproget.

Hvad skal du holde øje med efter lancering?

Live-opkald vil vise skiftemønstre, som dit testsæt overså. Tilføj et felt til udtræk efter opkald, fx en vælger for det sprog, opkalderen brugte, så du kan trække de tosprogede opkald ud, og kør derefter AI QA på et udsnit og læs hver transskription ved skiftepunkterne. Guiden til fejltyper for stemmeagenter hjælper med at skelne en transskriptionsfejl fra et forkert svar, og skabelonen til QA-scorecard giver gennemgangen en fast form.

Hver blandet vending, der får agenten til at snuble, kommer ind i testsættet, før den næste ændring udrulles. Hvis to stemmer begge består hos indfødte lyttere, kan A/B-test fordele live-trafik mellem to agenter efter procentdel.

Ofte stillede spørgsmål

Hvad er code-switching i stemme-AI?

Code-switching er, når en opkalder skifter mellem to sprog i ét opkald eller én sætning, fx en spansk sætning med et engelsk ord i. Agenten skal transskribere begge, svare på det rigtige og udtale de blandede ord som en lokal taler.

Skal én agent håndtere begge sprog, eller skal jeg bruge én agent pr. sprog?

Brug én agent pr. sprog, eller sæt sproget pr. opkald, når det kaldte nummer, CRM-data eller et sprogvalgstrin fortæller dig opkalderens sprog; Retell-dokumentationen rangerer ét enkelt sprog som mest præcist. Brug en flersproget agent, når du ikke kan kende sproget på forhånd, og kun med de sprog, dine opkaldere bruger.

Kan automatiserede simuleringstests fange problemer med code-switching?

Delvist. Simuleringstests i Retell kører som tekst, så de kontrollerer, hvilket sprog agenten svarer på, men ikke accent eller udtale. Brug webopkald med indfødte tosprogede talere til stemmen og telefonopkald til viderestillinger til en person.

Hvorfor lyder en flersproget agent fint på hvert sprog, men forkert i blandet tale?

Skiftepunkterne fejler, selvom hvert sprog fungerer for sig. Transskriberingen kan overse et engelsk ord med accent, agenten kan svare på det forkerte sprog, og dokumentationen beskriver, at stemmen registrerer sproget pr. svar, så det er de blandede svar, du skal kontrollere. Scor skiftede ord og blandede svar hver for sig.

Hvordan retter jeg et ord, agenten bliver ved med at udtale forkert?

Tilføj en post i udtaleordbogen i IPA eller CMU, og brug Test Pronunciation til at høre det med agentens stemme. Kontrollér først, at din stemmemodel understøtter ordbøger, da nogle flersprogede modeller ikke gør.

Test tosprogede opkald med Retell AI

Retell understøtter enkeltsprogede agenter, flersprogede agenter med et præcist sæt sprog og én agent pr. sprog forbundet via agentviderestilling, og alt kan testes med simulering (undtagen agenter med tilpasset LLM), webopkald og telefonopkald, før opkaldere hører det. Se flersprogede AI-stemmeagenter fra Retell og den tosprogede virtuelle receptionist, sammenlign leverandører i de 8 bedste flersprogede AI-stemmeagenter, eller start med grundlæggende flersproget opsætning.