Warum mehrsprachige Sprach-KI an der Akzentübergabe scheitert

Code-Switching bedeutet, dass eine Person innerhalb eines Gesprächs, oft sogar innerhalb eines Satzes, zwischen zwei Sprachen wechselt. Genau diesen Fall deckt ein Test, der Sprache für Sprache prüft, nie ab. Ein Agent kann einen spanischen und einen englischen Test bestehen und trotzdem falsch klingen, sobald ein Anrufer zum ersten Mal sagt: „Quiero cambiar mi appointment para el viernes.“ Verräterisch ist die Akzentübergabe: der Moment, in dem der Agent ein englisches Wort innerhalb der anderen Sprache hört oder ausspricht und es so behandelt, wie es kein Muttersprachler tun würde.

Dieser Leitfaden richtet sich an Contact-Center-Teams sowie an die Agenturen und BPOs, die für sie entwickeln und Sprachagenten für zweisprachige Anrufer einsetzen. Er zeigt, wo Anrufe mit Code-Switching scheitern, welchen Test Sie vor dem Launch durchführen sollten und mit welchen Einstellungen Sie die gefundenen Probleme beheben.

Was ist Code-Switching und warum ist es am Telefon wichtig?

Code-Switching ist ganz normale zweisprachige Sprache. Ein Anrufer spricht überwiegend in einer Sprache und streut Wörter oder Wendungen aus einer anderen ein: einen Produktnamen, „email“, „link“, „appointment“ oder eine auf Englisch vorgelesene Kontonummer. Diese englischen Wörter tragen meist den eigenen Akzent der sprechenden Person, keinen amerikanischen.

Anrufer, die so sprechen, sind keine Nische. Das U.S. Census Bureau zählte 2019 in den USA 67,8 Millionen Menschen, die zu Hause eine andere Sprache als Englisch sprachen – fast jede fünfte Person –, und 62 % davon sprachen Spanisch. Von diesen Spanischsprechenden gaben 39 % an, Englisch weniger als „sehr gut“ zu sprechen. Das heißt, die meisten von ihnen sprechen auch sehr gut Englisch. Gerade zweisprachige Anrufer können beide Sprachen mischen, und ein für sie entwickelter Agent sollte damit rechnen.

Wo scheitert ein Anruf mit Code-Switching?

An vier Stellen – und jede davon zeigt sich nur dort, wo die beiden Sprachen aufeinandertreffen. Wer jede Sprache einzeln testet, übersieht daher alle vier.

• Hören. Die Transkription muss ein englisches Wort erfassen, das mit spanischem oder Hindi-Akzent mitten in einem nicht englischen Satz gesprochen wird. Ein einsprachiger Agent transkribiert nur in einer Sprache. Ein mehrsprachiger Agent, der Sprachfamilien übergreift, etwa Englisch und Spanisch, nutzt eine Sprachpipeline, die laut der Dokumentation von Retell zur Mehrsprachigkeit „pro Sprache weniger genau als einsprachige Modelle“ ist.
• Antwortsprache. Ein einziges englisches Wort des Anrufers sollte den Agenten nicht ins Englische kippen lassen. Bei einem mehrsprachigen Retell-Agenten „darf der Agent in jeder der ausgewählten Sprachen antworten und wählt anhand dessen, was der Anrufer spricht (und anhand der Anweisungen, die Sie im Prompt geben)“, so die Dokumentation. Im Prompt legen Sie also die Regel fest.
• Stimme. Das ist die Akzentübergabe. Laut derselben Dokumentation „erkennt der Agent die Sprache jeder Antwort und verwendet die passende Aussprache“, greift auf die zuerst ausgewählte Sprache zurück, wenn die Erkennung fehlschlägt, und „nicht alle Stimmanbieter beherrschen Akzente“. Da die Dokumentation eine Spracherkennung pro Antwort beschreibt, sollten Sie bei den gemischten Antworten am genauesten hinhören – dort, wo ein englisches Wort in einem spanischen Satz steht.
• Übergabe. Wenn der Anruf an einen anderen KI-Agenten oder an einen Menschen übergeht, muss die Sprache mitgehen. Bei einer Agentenübergabe in Retell gelten Sprache und Stimme des Zielagenten, sofern Sie nicht „keep the current language“ aktivieren. Ein Anrufer, der bisher Spanisch gesprochen hat und in einer rein englischsprachigen Warteschlange landet, muss von vorn beginnen. Lesen Sie dazu, wie die Anrufweiterleitung von KI an Menschen funktioniert.

Eng verwandte Sprachen bergen ein weiteres Risiko. Laut der Dokumentation von Retell „hat die Spracherkennung die größten Schwierigkeiten bei Sprachen, die Wortschatz, Phoneme oder ein Schriftsystem teilen“ – Beispiel sind Kantonesisch und Mandarin –, und „Anrufer werden regelmäßig als falsche chinesische Variante transkribiert, wodurch der Agent dann in der falschen Sprache antwortet“.

Wie führen Sie vor dem Launch einen Code-Switching-Test durch?

Stellen Sie ein kleines Testset zusammen, das abbildet, wie Ihre Anrufer tatsächlich sprechen, lassen Sie es von zweisprachigen Muttersprachlern einsprechen und bewerten Sie die Wechselstellen getrennt von allem anderen.

1. Sammeln Sie die gemischten Wendungen. Listen Sie aus Anrufen, die Ihr zweisprachiges Personal bereits bearbeitet, die englischen Wörter auf, die Anrufer in die andere Sprache einstreuen: Tarifnamen, „email“, „link“, Straßennamen, Kontonummern, Daten.
2. Nutzen Sie echte Akzente. Lassen Sie die Testanrufe von Muttersprachlern aus den Regionen Ihrer Anrufer führen. Eine Kollegin oder ein Kollege mit amerikanischem Akzent spricht die englischen Wörter nicht mit dem Akzent Ihrer Anrufer aus – der Test besteht dann aus dem falschen Grund.
3. Skripten Sie jedes Muster aus der folgenden Tabelle, und zwar in beide Richtungen.
4. Bewerten Sie die gewechselten Wörter separat. Eine Gesamtgenauigkeit kann das Problem verdecken. Ein auf der ICASSP 2025 angenommenes Paper ergab, dass das Fine-Tuning von Sprachmodellen mit Daten ohne Code-Switching Standardmetriken wie die Wortfehlerrate auf Code-Switching-Testsets verbesserte, „obwohl sich die tatsächlich gewechselten Wörter verschlechtern“.
5. Lassen Sie die Stimme von einem Muttersprachler bewerten. Für jede gemischte Antwort gilt: Würde eine zweisprachige Person aus der Region es so sagen?
6. Legen Sie die Abnahmekriterien vorab fest. Entscheiden Sie, welche Fehler den Launch blockieren, etwa eine falsche Antwortsprache oder eine falsch verstandene Kontonummer, und welche auf die Fix-Liste kommen.

Jede Testmethode von Retell deckt einen Teil davon ab. Simulationstests „laufen als Textgespräch“. Sie prüfen also Antwortsprache und Gesprächsablauf und lassen sich nach jeder Änderung als Batch erneut ausführen, können aber keinen Akzent hören. Ein Web-Anruf-Test spielt echtes Audio ab („Tempo, Aussprache und Füllwörter“) und folgt Übergaben an einen anderen Agenten. Weiterleitungen an eine Telefonnummer schlagen dort jedoch fehl – nutzen Sie dafür und für Audio über den Netzbetreiber einen Telefonanruf-Test. Zum Release-Prozess rund um diese Prüfungen lesen Sie, wie Sie Änderungen an Sprachagenten testen und veröffentlichen.

Wie beheben Sie, was der Test aufdeckt?

Beginnen Sie mit der schmalsten Sprachkonfiguration, die Ihre Anrufer abdeckt, und korrigieren Sie dann einzelne Wörter. Laut der Dokumentation von Retell ist eine einzelne Sprache am genauesten, Varianten einer Basissprache wie en-US und en-GB sind gleichwertig, und Sprachen aus verschiedenen Sprachfamilien schneiden schlechter ab.

Zwei Einschränkungen. Aussprachewörterbücher hängen vom Stimmmodell ab: Die Plattformstimmen von Retell unterstützen IPA und CMU, Stimmen von Cartesia und Inworld IPA, während ElevenLabs eleven_multilingual_v2, eleven_flash_v2_5 und eleven_v3 keine Wörterbücher unterstützen. Eine ElevenLabs-Stimme, die bei einem nicht englischen Agenten auf Auto steht, wird auf ein Modell ohne Wörterbuchunterstützung aufgelöst – ein zweisprachiger Agent mit dieser Einstellung kann also keines nutzen. Die Dokumentation warnt außerdem, dass das Überschreiben gängiger Wörter „zu unnatürlicher Sprache führen kann“. Und die Anbieter für Spracherkennung unterscheiden sich: Die Anbieterseite von Retell führt Deepgram (für unterstützte Sprachkombinationen), Soniox und AssemblyAI mit Code-Switching-Unterstützung auf, Azure dagegen nur als einsprachig.

Worauf sollten Sie nach dem Launch achten?

Live-Anrufe zeigen Wechselmuster, die Ihr Testset übersehen hat. Fügen Sie ein Feld für die Post-Call-Extraktion hinzu, etwa eine Auswahl für die vom Anrufer verwendete Sprache, um die zweisprachigen Anrufe herauszufiltern. Führen Sie dann AI QA für eine Stichprobe durch und lesen Sie jedes Transkript an den Wechselstellen. Der Leitfaden zu Fehlermustern von Sprachagenten hilft, einen Transkriptionsfehler von einer falschen Antwort zu unterscheiden, und die QA-Scorecard-Vorlage gibt der Prüfung eine feste Struktur.

Jede gemischte Wendung, an der der Agent scheitert, kommt ins Testset, bevor die nächste Änderung live geht. Wenn zwei Stimmen bei Muttersprachlern gleichermaßen bestehen, kann A/B-Testing den Live-Traffic prozentual auf zwei Agenten aufteilen.

Häufig gestellte Fragen

Was ist Code-Switching bei Sprach-KI?

Code-Switching bedeutet, dass ein Anrufer innerhalb eines Anrufs oder eines Satzes zwischen zwei Sprachen wechselt, etwa ein spanischer Satz mit einem englischen Wort darin. Der Agent muss beides transkribieren, in der richtigen Sprache antworten und die gemischten Wörter wie ein Muttersprachler aus der Region aussprechen.

Sollte ein Agent beide Sprachen abdecken, oder sollte ich einen Agenten pro Sprache einsetzen?

Setzen Sie einen Agenten pro Sprache ein oder legen Sie die Sprache pro Anruf fest, wann immer die gewählte Nummer, CRM-Daten oder ein Sprachauswahlschritt Ihnen die Sprache des Anrufers verraten – laut der Dokumentation von Retell ist eine einzelne Sprache am genauesten. Nutzen Sie einen mehrsprachigen Agenten, wenn Sie die Sprache nicht im Voraus kennen können, und zwar nur mit den Sprachen, die Ihre Anrufer tatsächlich verwenden.

Können automatisierte Simulationstests Code-Switching-Probleme erkennen?

Teilweise. Die Simulationstests von Retell laufen als Text. Sie prüfen also, in welcher Sprache der Agent antwortet, nicht aber Akzent oder Aussprache. Nutzen Sie für die Stimme Web-Anrufe mit zweisprachigen Muttersprachlern und für Weiterleitungen an einen Menschen Telefonanrufe.

Warum klingt ein mehrsprachiger Agent in jeder Sprache gut, bei gemischter Sprache aber falsch?

Die Wechselstellen scheitern, während jede Sprache für sich funktioniert. Die Transkription kann ein mit Akzent gesprochenes englisches Wort übersehen, der Agent kann in der falschen Sprache antworten, und laut Dokumentation erkennt die Stimme die Sprache pro Antwort – daher sollten Sie gerade die gemischten Antworten prüfen. Bewerten Sie gewechselte Wörter und gemischte Antworten separat.

Wie korrigiere ich ein Wort, das der Agent immer wieder falsch ausspricht?

Legen Sie einen Eintrag im Aussprachewörterbuch in IPA oder CMU an und hören Sie ihn mit Test Pronunciation in der Stimme des Agenten an. Prüfen Sie vorher, ob Ihr Stimmmodell Wörterbücher unterstützt, denn manche mehrsprachigen Modelle tun das nicht.

Zweisprachige Anrufe mit Retell AI testen

Die Retell AI unterstützt einsprachige Agenten, mehrsprachige Agenten mit einem genau festgelegten Sprachset sowie einen Agenten pro Sprache, verbunden über Agentenübergabe – testbar mit Simulation (außer bei Agenten mit benutzerdefiniertem LLM), Web-Anrufen und Telefonanrufen, bevor Anrufer sie hören. Entdecken Sie die mehrsprachigen KI-Sprachagenten von Retell und die zweisprachige virtuelle Empfangskraft, vergleichen Sie Anbieter in den 8 besten mehrsprachigen KI-Sprachagenten oder starten Sie mit den Grundlagen der mehrsprachigen Einrichtung.