Por qué la IA de voz multilingüe falla en el relevo de acento

La alternancia de código (code-switching) se produce cuando un hablante pasa de un idioma a otro dentro de una misma conversación, a menudo dentro de una misma frase, y es el caso que una prueba idioma por idioma nunca cubre. Un agente puede superar una prueba en español y otra en inglés y aun así sonar mal la primera vez que alguien dice «Quiero cambiar mi appointment para el viernes». La señal delatora es el relevo de acento: el momento en que el agente oye o pronuncia una palabra inglesa dentro del otro idioma y la trata como ningún hablante local lo haría.

Esta guía está pensada para equipos de centros de contacto, y para las agencias y BPO que desarrollan para ellos, que ponen agentes de voz a atender a llamantes bilingües. Explica dónde fallan las llamadas con alternancia de código, la prueba que debes hacer antes del lanzamiento y los ajustes que corrigen lo que detecta.

¿Qué es la alternancia de código y por qué importa al teléfono?

La alternancia de código es el habla bilingüe habitual. Quien llama habla sobre todo en un idioma e intercala palabras o frases de otro: un nombre de producto, «email», «link», «appointment», un número de cuenta leído en inglés. Esas palabras inglesas suelen llevar el acento propio del hablante, no uno estadounidense.

Quienes hacen esto no son un nicho. La Oficina del Censo de EE. UU. contabilizó en 2019 67,8 millones de personas en Estados Unidos que hablaban en casa un idioma distinto del inglés, casi 1 de cada 5, y el español representaba el 62 % de ellas. De esos hispanohablantes, el 39 % afirmó hablar inglés peor que «muy bien», lo que significa que la mayoría también habla inglés muy bien. Los llamantes bilingües son precisamente los capaces de mezclar ambos idiomas, y un agente creado para ellos debería contar con ello.

¿Dónde falla una llamada con alternancia de código?

Falla en cuatro puntos, y cada uno solo aparece donde se encuentran los dos idiomas, así que probar cada idioma por separado no detecta ninguno de los cuatro.

• Escucha. El transcriptor tiene que captar una palabra inglesa dicha con acento español o hindi en medio de una frase en otro idioma. Un agente de un solo idioma transcribe únicamente en un idioma. Un agente multilingüe que combina familias lingüísticas distintas, como el inglés y el español, usa un sistema de voz que la documentación multilingüe de Retell describe como «menos preciso por idioma que los modelos de un solo idioma».
• Idioma de respuesta. Una sola palabra inglesa del llamante no debería hacer que el agente cambie al inglés. En un agente multilingüe de Retell, la documentación indica que el agente «puede responder en cualquiera de los idiomas seleccionados y elige en función de lo que habla el llamante (y de cualquier instrucción que incluyas en el prompt)». El prompt es donde fijas la regla.
• Voz. Este es el relevo de acento. La misma documentación indica que el agente «detecta el idioma de cada respuesta y utiliza la pronunciación correspondiente», que recurre al primer idioma que seleccionaste si la detección falla y que «no todos los proveedores de voz gestionan los acentos». Como la documentación describe la detección de idioma por respuesta, las respuestas a las que debes prestar más atención son las mixtas, en las que una palabra inglesa aparece dentro de una frase en español.
• Traspaso. Cuando la llamada pasa a otro agente de IA o a una persona, el idioma tiene que pasar con ella. En una transferencia entre agentes de Retell, se aplican el idioma y la voz propios del agente de destino salvo que actives «keep the current language». Un llamante que ha estado hablando en español y acaba en una cola solo en inglés tiene que empezar de nuevo. Consulta cómo funcionan las transferencias de llamadas de la IA a personas.

Los idiomas estrechamente relacionados añaden un riesgo más. La documentación de Retell indica que el reconocimiento de voz «tiene más dificultades con idiomas que comparten vocabulario, fonemas o sistema de escritura», con el cantonés y el mandarín como ejemplo, y que «los llamantes se transcriben a menudo con la variante de chino equivocada, lo que hace que el agente responda en el idioma equivocado».

¿Cómo se hace una prueba de alternancia de código antes del lanzamiento?

Crea un pequeño conjunto de pruebas a partir de cómo hablan realmente tus llamantes, pide a hablantes bilingües nativos que lo digan y puntúa los puntos de alternancia por separado del resto.

1. Recopila las frases mixtas. A partir de las llamadas que ya atiende tu personal bilingüe, enumera las palabras inglesas que los llamantes intercalan en el otro idioma: nombres de planes, «email», «link», nombres de calles, números de cuenta, fechas.
2. Usa acentos reales. Pide a hablantes nativos de las regiones de tus llamantes que hagan las llamadas de prueba. Un compañero con acento estadounidense no producirá las palabras inglesas con acento que usan tus llamantes, así que la prueba se supera por el motivo equivocado.
3. Guioniza cada patrón de la tabla siguiente, en ambas direcciones.
4. Puntúa las palabras alternadas por separado. Una cifra de precisión global puede ocultar el problema. Un artículo aceptado en ICASSP 2025 comprobó que ajustar modelos de voz con datos sin alternancia de código mejoraba métricas estándar como la tasa de error de palabras en conjuntos de prueba con alternancia de código, «aunque las palabras realmente alternadas empeoran».
5. Pide a un oyente nativo que evalúe la voz. Para cada respuesta mixta: ¿lo diría así un hablante bilingüe local?
6. Acordad primero el umbral de aprobación. Decide qué errores bloquean el lanzamiento, como un idioma de respuesta equivocado o un número de cuenta mal entendido, y cuáles pasan a la lista de correcciones.

Cada método de prueba de Retell cubre una parte. Las pruebas de simulación «se ejecutan como una conversación de texto», así que comprueban el idioma de respuesta y el flujo y pueden repetirse por lotes tras cada cambio, pero no pueden oír un acento. Una prueba con llamada web reproduce audio real («ritmo, pronunciación y muletillas») y sigue las transferencias a otro agente, pero las transferencias a un número de teléfono fallan ahí, así que usa una prueba con llamada telefónica para esas y para el audio del operador. Para el proceso de publicación en torno a estas comprobaciones, consulta cómo probar y publicar cambios en agentes de voz.

¿Cómo se corrige lo que detecta la prueba?

Empieza por la configuración de idiomas más acotada que sirva a tus llamantes y después corrige palabras concretas. La documentación de Retell sitúa un solo idioma como lo más preciso, las variantes de un mismo idioma base, como en-US y en-GB, al mismo nivel, y los idiomas de familias distintas por debajo.

Dos advertencias. Los diccionarios de pronunciación dependen del modelo de voz: las voces de la plataforma de Retell admiten IPA y CMU, las voces de Cartesia e Inworld admiten IPA, mientras que eleven_multilingual_v2, eleven_flash_v2_5 y eleven_v3 de ElevenLabs no los admiten. Una voz de ElevenLabs configurada en Auto en un agente que no es en inglés se resuelve en un modelo sin soporte de diccionario, así que un agente bilingüe con esa configuración no puede usarlo. La documentación también advierte de que anular palabras comunes «puede producir un habla poco natural». Además, los proveedores de reconocimiento de voz difieren: la página de proveedores de Retell indica que Deepgram (para las combinaciones de idiomas admitidas), Soniox y AssemblyAI admiten la alternancia de código, y que Azure es solo de un idioma.

¿Qué debes vigilar después del lanzamiento?

Las llamadas reales mostrarán patrones de alternancia que tu conjunto de pruebas no recogió. Añade un campo de extracción posterior a la llamada, como un selector del idioma que usó el llamante, para aislar las llamadas bilingües; después ejecuta AI QA sobre una muestra y lee cada transcripción en los puntos de alternancia. La guía de modos de fallo de los agentes de voz ayuda a distinguir un error de transcripción de una respuesta equivocada, y la plantilla de evaluación de QA da a la revisión una estructura fija.

Cada frase mixta que confunda al agente se añade al conjunto de pruebas antes de publicar el siguiente cambio. Si dos voces superan la prueba con oyentes nativos, las pruebas A/B pueden repartir el tráfico real entre dos agentes por porcentaje.

Preguntas frecuentes

¿Qué es la alternancia de código en la IA de voz?

La alternancia de código se produce cuando un llamante pasa de un idioma a otro en una llamada o en una frase, como una frase en español con una palabra inglesa dentro. El agente tiene que transcribir ambos, responder en el idioma correcto y pronunciar las palabras mixtas como un hablante local.

¿Debe un solo agente gestionar ambos idiomas o es mejor usar un agente por idioma?

Usa un agente por idioma, o fija el idioma en cada llamada, siempre que el número marcado, los datos del CRM o un paso de selección de idioma te indiquen el idioma del llamante; la documentación de Retell sitúa un solo idioma como lo más preciso. Usa un agente multilingüe cuando no puedas saber el idioma de antemano, solo con los idiomas que usan tus llamantes.

¿Pueden las pruebas de simulación automatizadas detectar problemas de alternancia de código?

En parte. Las pruebas de simulación de Retell se ejecutan como texto, así que comprueban en qué idioma responde el agente, pero no el acento ni la pronunciación. Usa llamadas web con hablantes bilingües nativos para la voz y llamadas telefónicas para las transferencias a una persona.

¿Por qué un agente multilingüe suena bien en cada idioma pero mal en el habla mixta?

Los puntos de alternancia fallan aunque cada idioma funcione por separado. El transcriptor puede no captar una palabra inglesa con acento, el agente puede responder en el idioma equivocado y la documentación describe que la voz detecta el idioma por respuesta, así que las respuestas mixtas son las que hay que comprobar. Puntúa por separado las palabras alternadas y las respuestas mixtas.

¿Cómo corrijo una palabra que el agente pronuncia mal una y otra vez?

Añade una entrada en el diccionario de pronunciación en IPA o CMU y usa Test Pronunciation para oírla con la voz del agente. Comprueba primero que tu modelo de voz admite diccionarios, ya que algunos modelos multilingües no lo hacen.

Prueba llamadas bilingües con Retell AI

Retell admite agentes de un solo idioma, agentes multilingües con un conjunto exacto de idiomas y un agente por idioma conectados mediante transferencia entre agentes, que puedes probar con simulación (salvo los agentes con LLM personalizado), llamadas web y llamadas telefónicas antes de que los oigan tus llamantes. Descubre los agentes de voz con IA multilingües de Retell y la recepcionista virtual bilingüe, compara proveedores en los 8 mejores agentes de voz con IA multilingües o empieza con los fundamentos de la configuración multilingüe.