Waarom meertalige voice-AI faalt bij de accentovergang

Code-switching is wanneer een spreker binnen één gesprek, vaak zelfs binnen één zin, tussen twee talen wisselt. Precies dat scenario dekt een test per taal nooit af. Een agent kan slagen voor een Spaanse en een Engelse test en toch verkeerd klinken zodra een beller voor het eerst zegt: "Quiero cambiar mi appointment para el viernes." Het zwakke punt is de accentovergang: het moment waarop de agent een Engels woord binnen de andere taal hoort of uitspreekt en het anders behandelt dan een lokale spreker zou doen.

Deze gids is bedoeld voor contactcenterteams, en voor de bureaus en BPO's die voor hen bouwen, die AI-stemagents inzetten voor tweetalige bellers. Je leest waar gesprekken met code-switching misgaan, welke test je vóór de lancering uitvoert en met welke instellingen je oplost wat die test aan het licht brengt.

Wat is code-switching en waarom is het belangrijk aan de telefoon?

Code-switching is gewone tweetalige spraak. Een beller spreekt grotendeels één taal en gebruikt tussendoor woorden of zinsdelen uit een andere taal: een productnaam, "email", "link", "appointment", een rekeningnummer dat in het Engels wordt voorgelezen. Die Engelse woorden klinken meestal met het eigen accent van de spreker, niet met een Amerikaans accent.

Bellers die dit doen zijn geen niche. Het U.S. Census Bureau telde in 2019 in de Verenigde Staten 67,8 miljoen mensen die thuis een andere taal dan Engels spraken, bijna 1 op de 5, en 62% van hen sprak Spaans. Van die Spaanstaligen zei 39% dat ze minder dan "zeer goed" Engels spraken, wat betekent dat de meesten ook zeer goed Engels spreken. Juist tweetalige bellers kunnen de twee talen mengen, en een agent die voor hen is gebouwd, moet daarop rekenen.

Waar gaat een gesprek met code-switching mis?

Op vier plekken, en elk daarvan komt alleen naar voren waar de twee talen samenkomen. Wie elke taal afzonderlijk test, mist ze dus alle vier.

• Horen. De transcriber moet een Engels woord opvangen dat met een Spaans of Hindi accent midden in een niet-Engelse zin wordt uitgesproken. Een eentalige agent transcribeert in slechts één taal. Een meertalige agent die taalfamilies overstijgt, zoals Engels en Spaans, gebruikt een spraakpipeline die volgens de documentatie over meertaligheid van Retell "per taal minder nauwkeurig is dan eentalige modellen".
• Antwoordtaal. Eén Engels woord van de beller mag de agent niet naar het Engels laten overschakelen. Voor een meertalige Retell-agent staat in de documentatie dat de agent "in elk van de geselecteerde talen mag antwoorden en kiest op basis van wat de beller spreekt (en eventuele instructies die je in de prompt geeft)". In de prompt leg je die regel vast.
• Stem. Dit is de accentovergang. Volgens dezelfde documentatie "detecteert de agent de taal van elk antwoord en gebruikt hij de bijbehorende uitspraak", valt hij terug op de eerste taal die je hebt geselecteerd als de detectie mislukt, en "kunnen niet alle stemproviders met accenten omgaan". Omdat de documentatie taaldetectie per antwoord beschrijft, moet je het scherpst luisteren naar de gemengde antwoorden, waarin een Engels woord in een Spaanse zin staat.
• Overdracht. Wanneer het gesprek naar een andere AI-agent of naar een persoon gaat, moet de taal meegaan. Bij een agentoverdracht in Retell gelden de eigen taal en stem van de doelagent, tenzij je "keep the current language" (de huidige taal behouden) inschakelt. Een beller die Spaans heeft gesproken en in een wachtrij met alleen Engels terechtkomt, moet opnieuw beginnen. Zie hoe gespreksoverdrachten van AI naar mens werken.

Nauw verwante talen brengen nog een extra risico met zich mee. Volgens de documentatie van Retell heeft spraakherkenning "de meeste moeite met talen die woordenschat, fonemen of een schrift delen", met Kantonees en Mandarijn als voorbeeld, en worden "bellers regelmatig getranscribeerd als de verkeerde Chinese variant, waardoor de agent vervolgens in de verkeerde taal antwoordt".

Hoe voer je vóór de lancering een code-switching-test uit?

Stel een kleine testset samen op basis van hoe je bellers echt praten, laat tweetalige moedertaalsprekers die inspreken en beoordeel de wisselpunten los van al het andere.

1. Verzamel de gemengde zinnen. Maak op basis van gesprekken die je tweetalige medewerkers al voeren een lijst van de Engelse woorden die bellers in de andere taal gebruiken: abonnementsnamen, "email", "link", straatnamen, rekeningnummers, datums.
2. Gebruik echte accenten. Laat moedertaalsprekers uit de regio's van je bellers de testgesprekken voeren. Een collega met een Amerikaans accent spreekt de Engelse woorden niet uit met het accent van je bellers, waardoor de test om de verkeerde reden slaagt.
3. Schrijf een script voor elk patroon in de onderstaande tabel, in beide richtingen.
4. Beoordeel de gewisselde woorden afzonderlijk. Een totaalscore voor nauwkeurigheid kan het probleem verbergen. Een paper die is geaccepteerd voor ICASSP 2025 stelde vast dat het finetunen van spraakmodellen op data zonder code-switching standaardmetrieken zoals de word error rate op testsets met code-switching verbeterde, "hoewel de daadwerkelijk gewisselde woorden verslechteren".
5. Laat een moedertaalspreker de stem beoordelen. Vraag bij elk gemengd antwoord: zou een lokale tweetalige spreker het zo zeggen?
6. Spreek vooraf de norm af. Bepaal welke fouten de lancering blokkeren, zoals een verkeerde antwoordtaal of een verkeerd verstaan rekeningnummer, en welke op de lijst met verbeterpunten komen.

Elke testmethode van Retell dekt een deel hiervan. Simulatietests "draaien als tekstgesprek". Ze controleren dus de antwoordtaal en de flow en kunnen na elke wijziging als batch opnieuw worden uitgevoerd, maar ze kunnen geen accent horen. Een webgesprektest speelt echte audio af ("tempo, uitspraak en stopwoorden") en volgt overdrachten naar een andere agent, maar overdrachten naar een telefoonnummer mislukken daar. Gebruik daarvoor, en voor carrier-audio, een telefoongesprektest. Lees voor het releaseproces rond deze controles hoe je wijzigingen aan AI-stemagents test en uitrolt.

Hoe los je op wat de test vindt?

Begin met de smalste taalconfiguratie die je bellers bedient en verhelp daarna afzonderlijke woorden. De documentatie van Retell noemt één taal het nauwkeurigst, varianten van één basistaal zoals en-US en en-GB even nauwkeurig, en talen uit verschillende taalfamilies minder nauwkeurig.

Twee kanttekeningen. Uitspraakwoordenboeken zijn afhankelijk van het stemmodel: stemmen van het Retell-platform ondersteunen IPA en CMU, stemmen van Cartesia en Inworld ondersteunen IPA, terwijl ElevenLabs eleven_multilingual_v2, eleven_flash_v2_5 en eleven_v3 dat niet doen. Een ElevenLabs-stem die bij een niet-Engelse agent op Auto staat, wordt omgezet naar een model zonder ondersteuning voor woordenboeken. Een tweetalige agent met die instelling kan er dus geen gebruiken. De documentatie waarschuwt ook dat het overschrijven van veelvoorkomende woorden "onnatuurlijke spraak kan opleveren". Daarnaast verschillen spraakherkenningsproviders: de providerpagina van Retell noemt Deepgram (voor ondersteunde taalcombinaties), Soniox en AssemblyAI met ondersteuning voor code-switching, en Azure als uitsluitend eentalig.

Waar let je op na de lancering?

Live gesprekken brengen wisselpatronen aan het licht die je testset heeft gemist. Voeg een veld voor extractie na het gesprek toe, zoals een selector voor de taal die de beller gebruikte, om de tweetalige gesprekken eruit te filteren. Voer vervolgens AI QA uit op een steekproef en lees elk transcript bij de wisselpunten. De gids over faalwijzen van AI-stemagents helpt je een transcriptiefout te onderscheiden van een verkeerd antwoord, en de QA-scorecardtemplate geeft de review een vaste vorm.

Elke gemengde zin waarover de agent struikelt, gaat in de testset voordat de volgende wijziging live gaat. Als twee stemmen allebei goed scoren bij moedertaalsprekers, kun je met A/B-tests live verkeer op basis van percentages over twee agents verdelen.

Veelgestelde vragen

Wat is code-switching in voice-AI?

Code-switching is wanneer een beller in één gesprek of één zin tussen twee talen wisselt, zoals een Spaanse zin met een Engels woord erin. De agent moet beide talen transcriberen, in de juiste taal antwoorden en de gemengde woorden uitspreken zoals een lokale spreker.

Moet één agent beide talen afhandelen, of gebruik ik één agent per taal?

Gebruik één agent per taal, of stel de taal per gesprek in, wanneer het gekozen nummer, CRM-data of een taalkeuzestap je de taal van de beller vertelt; de documentatie van Retell noemt één taal het nauwkeurigst. Gebruik een meertalige agent als je de taal niet vooraf kunt weten, en dan alleen met de talen die je bellers gebruiken.

Kunnen geautomatiseerde simulatietests problemen met code-switching opsporen?

Gedeeltelijk. De simulatietests van Retell draaien als tekst. Ze controleren dus in welke taal de agent antwoordt, maar niet het accent of de uitspraak. Gebruik webgesprekken met tweetalige moedertaalsprekers voor de stem en telefoongesprekken voor overdrachten naar een persoon.

Waarom klinkt een meertalige agent in elke taal goed, maar verkeerd in gemengde spraak?

De wisselpunten falen, terwijl elke taal op zichzelf goed werkt. De transcriber kan een Engels woord met accent missen, de agent kan in de verkeerde taal antwoorden, en volgens de documentatie detecteert de stem de taal per antwoord, dus juist de gemengde antwoorden moet je controleren. Beoordeel gewisselde woorden en gemengde antwoorden afzonderlijk.

Hoe verhelp ik een woord dat de agent steeds verkeerd uitspreekt?

Voeg een vermelding in IPA of CMU toe aan het uitspraakwoordenboek en gebruik Test Pronunciation om het woord in de stem van de agent te horen. Controleer eerst of je stemmodel woordenboeken ondersteunt, want sommige meertalige modellen doen dat niet.

Test tweetalige gesprekken met Retell AI

Retell ondersteunt eentalige agents, meertalige agents met een exacte set talen en één agent per taal, onderling verbonden via agentoverdracht. Je test ze met simulatie (behalve Custom LLM-agents), webgesprekken en telefoongesprekken voordat bellers ze horen. Bekijk de meertalige AI-stemagents en de tweetalige virtuele receptionist van Retell, vergelijk leveranciers in de 8 beste meertalige AI-stemagents, of begin met de basis van een meertalige configuratie.