多言語音声AIがアクセントの切り替わりで失敗する理由

コードスイッチングとは、話者が1つの会話の中で、多くの場合は1つの文の中で2つの言語を行き来することです。言語ごとのテストでは決してカバーできないケースでもあります。エージェントはスペイン語のテストと英語のテストの両方に合格していても、発信者が初めて「Quiero cambiar mi appointment para el viernes.」（金曜日の予約を変更したい）と言った瞬間に不自然に聞こえることがあります。その兆候がアクセントの切り替わりです。エージェントが別の言語の中で英単語を聞き取る、または話す瞬間に、現地の話者なら決してしない扱い方をしてしまうのです。

本ガイドは、バイリンガルの発信者に音声エージェントを提供するコンタクトセンターのチーム、およびそのために構築を行う代理店やBPOを対象としています。コードスイッチングを含む通話がどこで破綻するのか、ローンチ前に実施すべきテスト、そしてテストで見つかった問題を解決する設定について解説します。

コードスイッチングとは何か、なぜ電話で重要なのか？

コードスイッチングは、バイリンガルにとってごく普通の話し方です。発信者は主に1つの言語で話し、そこに別の言語の単語やフレーズを挟み込みます。製品名、「email」「link」「appointment」、英語で読み上げる口座番号などです。こうした英単語には、アメリカ英語のアクセントではなく、話者自身のアクセントが乗る傾向があります。

こうした話し方をする発信者はニッチな存在ではありません。米国国勢調査局によると、2019年に米国で家庭で英語以外の言語を話していた人は6,780万人で、ほぼ5人に1人にあたり、そのうち62%がスペイン語でした。これらのスペイン語話者のうち、英語を「とても上手に」は話せないと回答したのは39%で、つまり大半は英語もとても上手に話せるということです。2つの言語を混ぜて話せるのはバイリンガルの発信者であり、彼らのために構築するエージェントはそれを前提にすべきです。

コードスイッチングを含む通話はどこで破綻するのか？

破綻するポイントは4つあり、いずれも2つの言語が交わる箇所でしか現れません。そのため、各言語を個別にテストしても4つすべてを見逃してしまいます。

• 聞き取り。文字起こしエンジンは、英語以外の文の途中でスペイン語やヒンディー語のアクセントで発音された英単語を捉える必要があります。単一言語エージェントは1つの言語でのみ文字起こしを行います。英語とスペイン語のように異なる語族にまたがる多言語エージェントは、Retellの多言語ドキュメントが「言語ごとの精度は単一言語モデルより低い」と説明する音声パイプラインを使用します。
• 応答言語。発信者の英単語1つで、エージェントが英語に切り替わるべきではありません。Retellの多言語エージェントについて、ドキュメントでは、エージェントは「選択された言語のいずれでも応答でき、発信者が話す言語（およびプロンプトで与えた指示）に基づいて選択する」とされています。このルールを設定する場所がプロンプトです。
• 音声。これがアクセントの切り替わりです。同じドキュメントによると、エージェントは「各応答の言語を検出し、それに合った発音を使用」し、検出に失敗した場合は最初に選択した言語にフォールバックします。また、「すべての音声プロバイダーがアクセントに対応しているわけではない」とも記載されています。ドキュメントでは応答ごとの言語検出が説明されているため、最も注意深く聞くべきなのは、スペイン語の文の中に英単語が入る混在した応答です。
• 引き継ぎ。通話が別のAIエージェントや人に移るとき、言語も一緒に引き継がれる必要があります。Retellのエージェント転送では、「keep the current language」（現在の言語を維持）をオンにしない限り、転送先エージェント自身の言語と音声が適用されます。スペイン語で話していた発信者が英語のみのキューにつながると、最初からやり直しになります。詳しくはAIから人への通話転送の仕組みをご覧ください。

近縁の言語にはもう1つリスクがあります。Retellのドキュメントによると、音声認識は「語彙、音素、文字体系を共有する言語で最も苦戦する」とされ、広東語と北京語が例に挙げられています。また、「発信者が誤った中国語の種類として文字起こしされることが頻繁にあり、その結果エージェントが誤った言語で応答する」とも記載されています。

ローンチ前にコードスイッチングのテストをどう実施するか？

発信者の実際の話し方をもとに小規模なテストセットを作成し、ネイティブのバイリンガル話者に読み上げてもらい、切り替わりのポイントをそれ以外とは分けて評価します。

1. 混在フレーズを収集する。バイリンガルのスタッフがすでに対応している通話から、発信者が別の言語に挟み込む英単語をリスト化します。プラン名、「email」「link」、通りの名前、口座番号、日付などです。
2. 実際のアクセントを使う。発信者の地域出身のネイティブ話者にテスト通話をかけてもらいます。アメリカ英語のアクセントを持つ同僚では、発信者が使うアクセントのある英単語を再現できないため、誤った理由でテストに合格してしまいます。
3. 下の表にある各パターンを台本化し、両方向で試します。
4. 切り替わった単語を個別に評価する。全体の精度の数値では問題が隠れてしまうことがあります。ICASSP 2025に採択された論文では、コードスイッチングを含まないデータで音声モデルをファインチューニングすると、コードスイッチングのテストセットにおける単語誤り率などの標準指標は改善した一方で、「実際にコードスイッチングされた単語は悪化した」ことが示されています。
5. ネイティブの評価者に音声を採点してもらう。混在した応答ごとに、現地のバイリンガル話者ならこのように言うかを確認します。
6. 合格基準を先に合意する。誤った応答言語や口座番号の聞き間違いなど、どのエラーをローンチの阻害要因とし、どれを修正リストに入れるかを決めておきます。

Retellの各テスト方法は、それぞれこの一部をカバーします。シミュレーションテストは「テキストの会話として実行」されるため、応答言語やフローを確認でき、変更のたびに一括で再実行できますが、アクセントを聞き取ることはできません。Web通話テストは実際の音声（「ペース、発音、フィラー」）を再生し、別のエージェントへの転送にも追従しますが、電話番号への転送はそこでは失敗します。そのため、電話番号への転送とキャリア経由の音声の確認には電話テストを使用してください。これらのチェックを含むリリースプロセスについては、音声エージェントの変更をテストしてリリースする方法をご覧ください。

テストで見つかった問題をどう解決するか？

まず発信者に対応できる最も絞り込んだ言語設定から始め、その後で個々の単語を修正します。Retellのドキュメントでは、単一言語が最も精度が高く、en-USとen-GBのような1つの基本言語のバリアント同士も同等、語族をまたぐ言語は精度が低いとされています。

注意点が2つあります。発音辞書は音声モデルに依存します。Retellのプラットフォーム音声はIPAとCMUに、CartesiaとInworldの音声はIPAに対応していますが、ElevenLabsのeleven_multilingual_v2、eleven_flash_v2_5、eleven_v3は対応していません。英語以外のエージェントでAutoに設定されたElevenLabsの音声は辞書非対応のモデルに解決されるため、その設定のバイリンガルエージェントでは辞書を使用できません。また、ドキュメントでは一般的な単語を上書きすると「不自然な音声になる可能性がある」と警告しています。さらに、音声認識プロバイダーによっても違いがあります。Retellのプロバイダーページでは、Deepgram（対応する言語の組み合わせの場合）、Soniox、AssemblyAIがコードスイッチングに対応し、Azureは単一言語のみとされています。

ローンチ後は何を監視すべきか？

ライブ通話では、テストセットで見逃した切り替わりパターンが明らかになります。発信者が使用した言語を選ぶセレクターなどの通話後の抽出フィールドを追加してバイリンガルの通話を抽出し、サンプルに対してAI QAを実行して、切り替わりポイントで各文字起こしを確認します。音声エージェントの失敗パターンガイドは文字起こしエラーと誤った回答を切り分けるのに役立ち、QAスコアカードテンプレートはレビューに一定の形式を与えます。

エージェントがつまずいた混在フレーズはすべて、次の変更をリリースする前にテストセットに追加します。2つの音声がどちらもネイティブの評価者による評価に合格した場合は、A/Bテストを使って2つのエージェント間でライブトラフィックを割合で分割できます。

よくある質問

音声AIにおけるコードスイッチングとは何ですか？

コードスイッチングとは、発信者が1回の通話や1つの文の中で2つの言語を行き来することです。たとえば、英単語を含むスペイン語の文などがこれにあたります。エージェントは両方を文字起こしし、正しい言語で応答し、混在した単語を現地の話者のように発音する必要があります。

1つのエージェントで両方の言語に対応すべきですか？それとも言語ごとに1つのエージェントを使うべきですか？

ダイヤルされた番号、CRMデータ、または言語選択ステップで発信者の言語がわかる場合は、言語ごとに1つのエージェントを使うか、通話ごとに言語を設定してください。Retellのドキュメントでは単一言語が最も精度が高いとされています。言語を事前に知ることができない場合は、発信者が使う言語のみを設定した多言語エージェントを使用します。

自動シミュレーションテストでコードスイッチングの問題を検出できますか？

一部は可能です。Retellのシミュレーションテストはテキストで実行されるため、エージェントがどの言語で応答するかは確認できますが、アクセントや発音は確認できません。音声の確認にはネイティブのバイリンガル話者によるWeb通話を、担当者への転送の確認には電話を使用してください。

多言語エージェントが各言語では問題ないのに、混在した発話では不自然になるのはなぜですか？

各言語は単独では機能していても、切り替わりのポイントで失敗するためです。文字起こしエンジンがアクセントのある英単語を聞き逃したり、エージェントが誤った言語で応答したりする可能性があります。また、ドキュメントでは音声が応答ごとに言語を検出すると説明されているため、確認すべきは混在した応答です。切り替わった単語と混在した応答は個別に評価してください。

エージェントが繰り返し誤って発音する単語はどう修正すればよいですか？

IPAまたはCMUで発音辞書のエントリーを追加し、Test Pronunciationを使ってエージェントの音声で確認します。一部の多言語モデルは辞書に対応していないため、まず使用する音声モデルが辞書に対応しているかを確認してください。

Retell AIでバイリンガル通話をテストする

Retellは、単一言語エージェント、使用する言語を正確に指定した多言語エージェント、そしてエージェント転送でつないだ言語ごとのエージェントに対応しています。いずれも発信者に届く前に、シミュレーション（カスタムLLMエージェントを除く）、Web通話、電話でテストできます。Retellの多言語AI音声エージェントやバイリンガル対応のバーチャル受付をご覧いただくか、多言語AI音声エージェントおすすめ8選でベンダーを比較するか、多言語設定の基本から始めてください。