Por que a IA de voz multilíngue falha na transição de sotaque

Code-switching (alternância de idiomas) é quando quem fala transita entre dois idiomas dentro de uma mesma conversa, muitas vezes dentro de uma mesma frase, e é exatamente o caso que um teste feito idioma por idioma nunca cobre. Um agente pode passar em um teste em espanhol e em um teste em inglês e, ainda assim, soar errado na primeira vez que alguém disser "Quiero cambiar mi appointment para el viernes." O sinal revelador é a transição de sotaque: o momento em que o agente ouve ou fala uma palavra em inglês dentro do outro idioma e a trata de um jeito que nenhum falante local trataria.

Este guia é para equipes de central de atendimento, e para as agências e BPOs que constroem para elas, que estão colocando agentes de voz diante de clientes bilíngues. Ele mostra onde as chamadas com code-switching falham, o teste que você deve rodar antes do lançamento e as configurações que corrigem o que ele encontrar.

O que é code-switching e por que isso importa no telefone?

Code-switching é a fala bilíngue do dia a dia. A pessoa fala principalmente em um idioma e insere palavras ou expressões de outro: um nome de produto, "email", "link", "appointment", um número de conta lido em inglês. Essas palavras em inglês costumam carregar o sotaque de quem fala, e não um sotaque americano.

Quem faz isso não é um nicho. O U.S. Census Bureau contabilizou 67,8 milhões de pessoas nos Estados Unidos que falavam um idioma diferente do inglês em casa em 2019, quase 1 em cada 5, e o espanhol representava 62% delas. Desses falantes de espanhol, 39% disseram falar inglês menos do que "muito bem", o que significa que a maioria também fala inglês muito bem. Clientes bilíngues são justamente os que conseguem misturar os dois idiomas, e um agente criado para eles deve esperar isso.

Onde uma chamada com code-switching falha?

Ela falha em quatro pontos, e cada um só aparece onde os dois idiomas se encontram; por isso, testar cada idioma isoladamente deixa passar os quatro.

• Audição. O transcritor precisa captar uma palavra em inglês dita com sotaque espanhol ou hindi no meio de uma frase em outro idioma. Um agente de idioma único transcreve em apenas um idioma. Um agente multilíngue que atravessa famílias linguísticas, como inglês e espanhol, usa um pipeline de fala que a documentação multilíngue da Retell descreve como "menos preciso por idioma do que os modelos de idioma único".
• Idioma da resposta. Uma única palavra em inglês dita pelo cliente não deveria fazer o agente mudar para o inglês. Em um agente multilíngue da Retell, a documentação diz que o agente "pode responder em qualquer um dos idiomas selecionados e escolhe com base no que o cliente fala (e em quaisquer instruções que você der no prompt)". É no prompt que você define a regra.
• Voz. Esta é a transição de sotaque. A mesma documentação diz que o agente "detecta o idioma de cada resposta e usa a pronúncia correspondente", recorre ao primeiro idioma que você selecionou se a detecção falhar e que "nem todos os provedores de voz lidam com sotaques". Como a documentação descreve a detecção de idioma por resposta, as respostas que merecem a escuta mais atenta são as mistas, em que uma palavra em inglês aparece dentro de uma frase em espanhol.
• Transferência. Quando a chamada passa para outro agente de IA ou para uma pessoa, o idioma precisa ir junto. Em uma transferência entre agentes da Retell, o idioma e a voz do agente de destino são aplicados, a menos que você ative "keep the current language" (manter o idioma atual). Um cliente que vinha falando espanhol e cai em uma fila só em inglês precisa começar tudo de novo. Veja como funciona a transferência de chamadas da IA para humanos.

Idiomas muito próximos acrescentam mais um risco. A documentação da Retell diz que o reconhecimento de fala "tem mais dificuldade com idiomas que compartilham vocabulário, fonemas ou sistema de escrita", citando cantonês e mandarim como exemplo, e que "os clientes frequentemente são transcritos na variante errada do chinês, o que faz o agente responder no idioma errado".

Como rodar um teste de code-switching antes do lançamento?

Monte um pequeno conjunto de testes com base em como seus clientes realmente falam, peça a falantes bilíngues nativos que o reproduzam e avalie os pontos de alternância separadamente de todo o resto.

1. Reúna as frases mistas. A partir das chamadas que sua equipe bilíngue já atende, liste as palavras em inglês que os clientes inserem no outro idioma: nomes de planos, "email", "link", nomes de ruas, números de conta, datas.
2. Use sotaques reais. Peça a falantes nativos das regiões dos seus clientes que façam as chamadas de teste. Um colega com sotaque americano não vai produzir as palavras em inglês com o sotaque que seus clientes usam, e o teste passa pelo motivo errado.
3. Roteirize cada padrão da tabela abaixo, nas duas direções.
4. Avalie as palavras alternadas separadamente. Um número geral de precisão pode esconder o problema. Um artigo aceito no ICASSP 2025 constatou que o ajuste fino de modelos de fala com dados sem code-switching melhorou métricas padrão, como a taxa de erro de palavras, em conjuntos de testes de code-switching, "embora as palavras efetivamente alternadas piorem".
5. Peça a um ouvinte nativo que avalie a voz. Para cada resposta mista: um falante bilíngue local diria isso desse jeito?
6. Defina antes o critério de aprovação. Decida quais erros bloqueiam o lançamento, como um idioma de resposta errado ou um número de conta mal entendido, e quais vão para a lista de correções.

Cada método de teste da Retell cobre uma parte disso. O teste de simulação "é executado como uma conversa em texto", então verifica o idioma da resposta e o fluxo e pode ser repetido em lote após cada alteração, mas não consegue ouvir um sotaque. Um teste por chamada web reproduz áudio real ("ritmo, pronúncia e interjeições") e acompanha transferências para outro agente, mas transferências para um número de telefone falham ali; por isso, use um teste por chamada telefônica nesses casos e para o áudio da operadora. Para o processo de lançamento em torno dessas verificações, veja como testar e lançar alterações em agentes de voz.

Como corrigir o que o teste encontrar?

Comece com a configuração de idiomas mais restrita que atenda seus clientes e depois corrija palavras individuais. A documentação da Retell classifica um único idioma como o mais preciso, variantes de um mesmo idioma base, como en-US e en-GB, com a mesma precisão, e idiomas de famílias diferentes como menos precisos.

Duas ressalvas. Os dicionários de pronúncia dependem do modelo de voz: as vozes da plataforma da Retell oferecem suporte a IPA e CMU, as vozes Cartesia e Inworld a IPA, enquanto os modelos eleven_multilingual_v2, eleven_flash_v2_5 e eleven_v3 da ElevenLabs não oferecem. Uma voz da ElevenLabs configurada como Auto em um agente que não é em inglês resolve para um modelo sem suporte a dicionário; então, um agente bilíngue com essa configuração não consegue usar um. A documentação também alerta que substituir palavras comuns "pode gerar uma fala pouco natural". E os provedores de reconhecimento de fala variam: a página de provedores da Retell lista Deepgram (para combinações de idiomas compatíveis), Soniox e AssemblyAI com suporte a code-switching, e Azure apenas com idioma único.

O que acompanhar depois do lançamento?

As chamadas reais vão revelar padrões de alternância que seu conjunto de testes deixou passar. Adicione um campo de extração pós-chamada, como um seletor para o idioma usado pelo cliente, para separar as chamadas bilíngues, depois rode o AI QA em uma amostra e leia cada transcrição nos pontos de alternância. O guia de modos de falha de agentes de voz ajuda a distinguir um erro de transcrição de uma resposta errada, e o modelo de scorecard de QA dá uma estrutura fixa à revisão.

Toda frase mista que confundir o agente entra no conjunto de testes antes de a próxima alteração ir ao ar. Se duas vozes forem aprovadas por ouvintes nativos, o teste A/B pode dividir o tráfego real entre dois agentes por porcentagem.

Perguntas frequentes

O que é code-switching na IA de voz?

Code-switching é quando o cliente transita entre dois idiomas em uma mesma chamada ou frase, como uma frase em espanhol com uma palavra em inglês. O agente precisa transcrever os dois, responder no idioma certo e pronunciar as palavras misturadas como um falante local.

Um único agente deve lidar com os dois idiomas ou devo usar um agente por idioma?

Use um agente por idioma, ou defina o idioma por chamada, sempre que o número discado, os dados do CRM ou uma etapa de seleção de idioma indicarem o idioma do cliente; a documentação da Retell classifica um único idioma como o mais preciso. Use um agente multilíngue quando não for possível saber o idioma com antecedência, apenas com os idiomas que seus clientes usam.

Testes de simulação automatizados conseguem detectar problemas de code-switching?

Em parte. Os testes de simulação da Retell são executados em texto, então verificam em qual idioma o agente responde, mas não o sotaque nem a pronúncia. Use chamadas web com falantes bilíngues nativos para a voz e chamadas telefônicas para transferências a uma pessoa.

Por que um agente multilíngue soa bem em cada idioma, mas errado na fala misturada?

Os pontos de alternância falham enquanto cada idioma funciona bem isoladamente. O transcritor pode perder uma palavra em inglês com sotaque, o agente pode responder no idioma errado, e a documentação descreve a voz detectando o idioma por resposta, então as respostas mistas são as que precisam ser verificadas. Avalie as palavras alternadas e as respostas mistas separadamente.

Como corrigir uma palavra que o agente insiste em pronunciar errado?

Adicione uma entrada no dicionário de pronúncia em IPA ou CMU e use o Test Pronunciation para ouvi-la na voz do agente. Verifique antes se o seu modelo de voz oferece suporte a dicionários, já que alguns modelos multilíngues não oferecem.

Teste chamadas bilíngues com a Retell AI

A Retell oferece suporte a agentes de idioma único, agentes multilíngues com um conjunto exato de idiomas e um agente por idioma conectados por transferência entre agentes, que podem ser testados com simulação (exceto agentes com LLM Personalizado), chamadas web e chamadas telefônicas antes que os clientes os ouçam. Conheça os agentes de voz com IA multilíngues da Retell e a recepcionista virtual bilíngue, compare fornecedores em os 8 melhores agentes de voz com IA multilíngues ou comece pelo básico da configuração multilíngue.