Como a IA de Voz em Tempo Real Realmente Funciona (STT → LLM → TTS, Explicado)
O que acontece entre o "alô" e a resposta do agente, em português claro. Sem jargão, sem enrolação.
A IA de voz em tempo real é um pipeline de três estágios com duas peças de orquestração ao redor dele. O áudio entra → a conversão de fala em texto o transforma em palavras → um LLM decide o que fazer → a conversão de texto em fala transforma a resposta de volta em áudio. Em torno de tudo isso: a alternância de turnos (quando quem liga parou?) e o tratamento de barge-in (e se a pessoa nos interromper?). É isso. É a coisa toda.
Todo o pipeline tem que terminar em menos de ~700ms ou para de parecer humano. Acima desse limiar, quem liga fica desconfortável, se repete e desliga. Abaixo dele, esquecem que estão falando com uma IA. A stack da Retell roda em torno de 600ms de ponta a ponta. Isso não é sorte. É o resultado de cada estágio transmitindo (streaming) para o próximo em vez de esperar que ele termine.
A maior parte da latência se esconde onde você não espera. Não no STT, não no TTS — nas decisões de alternância de turnos e no tempo até o primeiro token do LLM. Se a sua implementação parece lenta, esses são os dois lugares para olhar primeiro.
O streaming é o truque. O STT emite transcrições parciais a cada ~50ms em vez de esperar por uma frase completa. O LLM transmite os tokens à medida que são gerados. O TTS transmite blocos de áudio antes de a resposta completa existir. Nada disso funciona se algum estágio esperar o anterior "terminar".
As stacks de 2026 são todas parecidas arquiteturalmente. O que separa o "nível de produção" da "demonstração" é a qualidade da orquestração — ajuste do VAD, modelos de alternância de turnos, tratamento de interrupções, latência de chamada de função. É aí que vai o investimento real de engenharia.
Tire o marketing e um agente de voz é um pipeline. O áudio entra pelo telefone. O software o transforma em texto. Um modelo de linguagem lê esse texto, decide o que dizer ou o que fazer e gera uma resposta. Mais software transforma a resposta de volta em áudio. O áudio sai de volta pelo telefone. Quem liga ouve, diz algo, e o ciclo roda de novo. É isso. É o produto inteiro.
A razão pela qual esse ciclo simples levou anos para funcionar é que tudo isso tem que acontecer em menos de um segundo. Cada parte do pipeline tem que ser em streaming. Cada transição entre os estágios tem que ser quase instantânea. Dois estágios têm que tomar decisões rígidas em tempo real — a alternância de turnos ("quem liga já parou de falar?") e o tratamento de barge-in ("quem liga acabou de começar a falar por cima de mim, o que eu faço?"). Erre qualquer um deles e a conversa desmorona de uma forma que quem liga percebe imediatamente, mesmo que não consiga articular por quê.
Este artigo é a versão sem marketing de como um agente de voz realmente funciona em 2026. Vamos percorrer um único turno de conversa de ponta a ponta, ver onde a latência se esconde, falar sobre a orquestração que separa as stacks de produção das demonstrações e esclarecer alguns equívocos comuns sobre o que está de fato acontecendo por baixo dos panos.
Se você é um PM tentando entender o que os seus engenheiros estão construindo, isto é para você. Se você é um engenheiro avaliando uma plataforma versus construí-la por conta própria, também é para você. De qualquer forma: ao final, você vai saber o que acontece toda vez que alguém diz "alô" e uma IA responde "oi".
Aqui está a versão de elevador.
Um agente de voz são três coisas em sequência com duas coisas envoltas nelas. As três em sequência: STT → LLM → TTS. A conversão de fala em texto transforma o áudio de quem liga em palavras. Um modelo de linguagem de grande porte lê essas palavras (mais o seu prompt de sistema, a conversa até o momento e uma descrição de quaisquer ferramentas que o agente possa chamar) e decide se vai falar ou chamar uma função. A conversão de texto em fala transforma a resposta do modelo de volta em áudio.
As duas coisas envoltas nesse pipeline: alternância de turnos e barge-in. A alternância de turnos é o sistema que decide quando quem liga terminou um pensamento para que o agente possa responder — muito mais difícil do que parece, porque os humanos fazem pausas no meio da frase o tempo todo. O barge-in é o sistema que lida com quem liga interrompendo o agente no meio da resposta — também mais difícil do que parece, porque você tem que parar o TTS instantaneamente, descartar o que o modelo estava prestes a dizer e começar a ouvir de novo.
Por que isso é difícil: cada estágio tem que ser em streaming, e cada estágio tem um orçamento de latência que você não pode estourar. Coloque todo o ciclo abaixo de ~700ms e a conversa parece humana. Passe disso e não parece. É esse o trabalho.
Vamos percorrer um turno de conversa de ponta a ponta. Quem liga diz "Oi, eu gostaria de agendar uma limpeza para a próxima terça à tarde" — e 600ms depois, o agente responde. Aqui está tudo o que acontece no meio.
A chamada atinge primeiro a sua camada de telefonia — um trunk SIP se você estiver usando a sua operadora existente, ou um stream WebRTC se você estiver usando um número da Retell. De qualquer forma, o áudio de quem liga aparece como um fluxo de pequenos pacotes, normalmente de 20ms cada. A partir do momento em que a pessoa começa a falar, esses pacotes fluem para a sua stack na velocidade da linha. O round-trip de rede é a primeira peça do orçamento de latência que você não pode burlar: normalmente de 30 a 80ms dependendo da geografia e da operadora, antes de qualquer trabalho de IA acontecer.
O VAD é o modelo leve que decide se o áudio que está entrando é fala ou silêncio. Ele roda em cada bloco recebido, em milissegundos. Por que se preocupar? Dois motivos. Um: você não quer enviar silêncio ao seu STT — isso desperdiça computação e confunde a alternância de turnos. Dois: o VAD é o primeiro sinal que a alternância de turnos usa para decidir quando quem liga parou de falar. Um VAD ruim é um dos assassinos silenciosos da IA de voz. Ajuste-o muito apertado e você corta quem liga no meio da palavra. Ajuste-o muito frouxo e o agente parece lento. As stacks de nível de produção usam uma pequena rede neural treinada especificamente em áudio de chamada telefônica para isso, não um limiar de energia genérico.
Assim que o VAD diz "isto é fala", o áudio é canalizado para um motor de STT em streaming. A palavra-chave é streaming. O STT não espera quem liga terminar. Ele emite transcrições parciais a cada ~50ms — palpites incompletos que vão sendo revisados à medida que mais áudio chega. Então, aos 200ms, a transcrição pode dizer "Oi eu gostaria de agendar uma". Aos 400ms, "Oi eu gostaria de agendar uma limpeza para". Aos 700ms, a frase completa. O STT moderno também lida com a diarização (quem está falando — útil quando há mais de uma pessoa na linha), a correção intermediária (revisar "duas" para "duas e meia" assim que mais contexto chega) e a robustez a ruído para quem liga no viva-voz ou em aeroportos.
Se você está se perguntando onde a maioria das implementações caseiras falha silenciosamente, este é um dos lugares. A precisão do reconhecimento está boa em 2026. A parte difícil é o streaming, as parciais e a detecção de fim de fala — nada do que você obtém de uma API genérica de "transcreva este arquivo de áudio".
Esta é a arte oculta. A alternância de turnos é o modelo que decide quando quem liga terminou um pensamento, para que o agente possa responder. Não é só "espere 500ms após a última palavra". Os humanos fazem pausas no meio da frase, respiram, dizem "hum" enquanto pensam. Um timeout ingênuo ou vai cortá-los ("Oi, eu gostaria de agendar—" "OK, o que você gostaria de agendar?") ou vai parecer lento ("...para a próxima terça à tarde." [silêncio] [silêncio] "Entendi, deixe-me verificar.").
A resposta de produção de 2026 é um modelo neural de alternância de turnos pequeno e rápido que pega o fluxo de áudio, a transcrição parcial e o contexto da conversa, e dá uma probabilidade de quem liga ter terminado o seu turno. Ele se atualiza dezenas de vezes por segundo. Quando a confiança cruza um limiar, o turno do agente começa. O modelo de alternância de turnos da Retell lida com backchannels ("hum-hum", "certo"), pausas de hesitação e detecção de fim de fala dentro de um orçamento de resposta de ponta a ponta de cerca de 600ms. (Como a nossa alternância de turnos funciona.)
Se você levar uma coisa deste artigo: a maior parte da diferença entre "parece humano" e "parece robótico" vive neste estágio. Em termos de orçamento de latência, a alternância de turnos consome 150 a 300ms do seu tempo total de resposta. Em termos de qualidade, é o maior fator isolado na decisão de se quem liga respeita o agente.
Uma vez que o turno de quem liga termina, o modelo de linguagem é chamado com tudo de que precisa: o seu prompt de sistema, a transcrição completa da conversa, qualquer conhecimento recuperado da sua base de conhecimento e a lista de funções disponíveis. O modelo tem duas escolhas em cada turno — gerar uma resposta falada ou chamar uma ferramenta (agendar o compromisso, transferir a chamada, consultar o registro do cliente).
A métrica de latência que importa aqui é o tempo até o primeiro token (TTFT). Não quanto tempo a resposta completa leva — quanto tempo até a primeira palavra começar a transmitir. Um bom LLM de 2026 atinge o TTFT em 150 a 300ms para um prompt típico de agente de voz. Uma vez que os tokens começam a transmitir, eles continuam a 50 a 100 por segundo, o que é mais rápido do que a maioria das pessoas fala. Então o estágio de TTS começa antes de o modelo ter terminado de pensar. (Detalhes de preço no nível de LLM.)
Se o modelo decide chamar uma função em vez de falar, você paga uma latência diferente: o round-trip ao seu webhook (reservar o horário no Cal.com, escrever o lead no Salesforce). Para a maioria das funções predefinidas, isso é rápido — centenas de milissegundos de um dígito. Para APIs de terceiros lentas, pode ser mais lento, e o agente normalmente diz algo como "um momento enquanto verifico isso" para preencher a lacuna. (Agendamento, transferência, base de conhecimento.)
Assim que o LLM emite os primeiros tokens, o TTS começa. Os agentes de voz modernos transmitem o áudio para fora em blocos de 200 a 400ms, para que quem liga ouça a primeira palavra antes mesmo de a resposta completa ter sido gerada. Esse é o truque que faz todo o pipeline parecer rápido — cada estágio emite a saída antes de o estágio anterior terminar.
O cardápio de vozes de 2026 tem três níveis: as vozes da plataforma Retell e a Cartesia para algo rápido, natural e de baixa latência a US$ 0,015/min; a ElevenLabs para vozes de marca de mais alta fidelidade a US$ 0,040/min; e uma longa cauda de clones de voz para casos de uso premium. O tempo até o primeiro áudio (TTFA) é a métrica a observar — as stacks de produção atingem 100 a 200ms. Em testes cegos com vozes padrão, a maioria de quem liga não consegue distingui-las de forma confiável de um humano. O que entrega a IA de voz em 2026 não é mais a voz. É o timing.
O pipeline acima funciona muito bem até quem liga fazer o que os humanos de fato fazem: interromper. Eles começam a falar por cima do agente. Talvez tenham percebido que queriam dizer quarta, não terça. Talvez estejam irritados. De qualquer forma, o agente tem que parar de falar imediatamente, descartar o resto da resposta planejada e começar a ouvir de novo — rápido.
Isso é o tratamento de barge-in, e é outro assassino silencioso da IA de voz. Uma implementação ingênua continua lendo o resto do TTS enquanto quem liga está falando — a pior sensação em uma chamada telefônica. Uma boa implementação corta o TTS dentro de um único bloco de áudio (abaixo de 100ms), descarta o que o LLM ia dizer e inicia um novo stream de STT a partir do novo áudio de quem liga. Pontos extras se o modelo sabe o que foi dito antes do corte para não se repetir.
Some o orçamento: rede (50ms) + VAD/alternância de turnos (200ms) + TTFT do LLM (250ms) + TTFA do TTS (100ms) = cerca de 600ms. É assim que um agente de voz parece humano. Nenhum desses números é mágico. Eles são apenas o resultado de fazer streaming de forma agressiva e de não esperar por nada que você não precise.
Três empresas rodando exatamente neste pipeline hoje, que vale a pena estudar.
Pine Park Health. Atenção primária para comunidades de moradia para idosos. O telefone sem fim estava consumindo a agenda deles. Eles colocaram um agente de voz da Retell na frente da sua linha de agendamento — o mesmo pipeline STT → LLM → TTS que todos os outros, apenas orquestrado de forma apertada o suficiente para que quem ligava não desistisse. O NPS de agendamento subiu 38%. A equipe clínica deles parou de passar metade do dia ao telefone.
SWTCH. Empresa de carregamento de veículos elétricos. Quando um motorista está parado em frente a um carregador quebrado, "a gente te liga de volta amanhã" não é uma resposta. Eles colocaram o Lucas — um agente da Retell — na linha. O Lucas atende em segundos, orienta os motoristas na resolução de problemas urgentes e faz isso 24/7 no mesmo pipeline de sete estágios. Os custos de suporte caíram mais de 50%.
Medical Data Systems. Cobrança. Regulada, sensível em termos de tom, implacável quando as conversas saem dos trilhos. Eles colocaram agentes da Retell nas chamadas recebidas e agora atendem 100% do volume recebido com apenas 30% das chamadas sendo transferidas para um humano, arrecadando cerca de US$ 280.000 por mês. O pipeline é o mesmo que acabamos de percorrer. A diferença é a disciplina de orquestração e uma longa cauda de pequenas decisões sobre alternância de turnos, barge-in e design de prompt. (Mais histórias de clientes aqui.)
O fio comum entre os três: nenhum deles tentou inventar o pipeline. Eles escolheram uma plataforma que tinha a orquestração resolvida, focaram o seu trabalho nas partes que eram de fato proprietárias do seu negócio — o prompt, a base de conhecimento, os endpoints de função — e lançaram.
Se você não lembrar de mais nada deste artigo, lembre-se disto: o STT e o TTS não são onde a maior parte da sua latência se esconde. Eles são rápidos. Os dois lugares para onde a latência de fato vai são a alternância de turnos e o tempo até o primeiro token do LLM.
Aqui está um detalhamento típico de orçamento de 2026 para um turno de conversa em uma stack de produção:
Round-trip de rede: 30 a 80ms. Principalmente a geografia e a sua operadora SIP. Você não pode fazer muito aqui.
Decisão de VAD + alternância de turnos: 150 a 300ms. Esta é a maior variável. Um modelo ruim de alternância de turnos vai te custar mais de 500ms de latência percebida sem nunca aparecer em um benchmark.
Transcrição final do STT: 50 a 100ms após o fim da fala. O streaming esconde a maior parte disso no estágio anterior.
Tempo até o primeiro token do LLM: 150 a 400ms. Muito dependente da escolha do modelo e do tamanho do prompt.
Tempo até o primeiro áudio do TTS: 100 a 200ms.
Chamada de função (se invocada): 100 a 500ms dependendo da API.
Uma stack de nível de produção entrega as partes de falar-ou-não-falar disso em cerca de 600ms no total. Uma stack medíocre fica em 1,2 a 1,8 segundo. A stack medíocre parece falar com um chatbot lendo falas. A boa parece uma pessoa.
As duas grandes alavancas se você está tentando otimizar: escolha um LLM rápido com baixo TTFT (GPT 4.1, Claude 4.6 Sonnet, Gemini 3.0 Flash, todos atingem as metas de produção) e use um modelo de alternância de turnos treinado em dados de conversa reais, não um limiar de silêncio fixo. (Por que a latência importa)
Algumas coisas que vale a pena sinalizar.
"São só três APIs coladas." São, até você tentar fazer parecer em tempo real. Então você percebe que a colagem importa mais do que as APIs. A camada de orquestração — ajuste do VAD, modelo de alternância de turnos, coordenação do streaming, tratamento de barge-in, roteamento de chamada de função — é onde as stacks de nível de produção de fato vivem. Você pode trocar de fornecedor de STT em um dia. Você não pode trocar a orquestração sem reescrever metade do sistema.
"LLM maior = agente de voz melhor." Na verdade, não. Para a maioria dos casos de uso de voz, um modelo rápido de nível intermediário com um bom prompt vence um carro-chefe lento. O tempo até o primeiro token importa mais do que a qualidade bruta de raciocínio, porque a percepção de quem liga é moldada quase inteiramente pela latência. A Retell permite que você troque de LLM com um menu suspenso precisamente porque a resposta certa depende do caso de uso — raciocínio pesado fica com o Claude 4.6 Sonnet, alto volume e barato fica com o GPT 5 nano, multilíngue fica com o Gemini 3.0 Flash, o padrão é o GPT 4.1.
"O streaming é um diferencial desejável." É a arquitetura inteira. Sem streaming, você espera quem liga terminar, depois espera o STT terminar, depois espera o LLM terminar, depois espera o TTS terminar, e você já gastou mais de 3 segundos antes de um único byte de áudio voltar. A razão inteira pela qual os agentes de voz de 2026 parecem humanos é que cada estágio começa a emitir a saída antes de o estágio anterior terminar.
"Você precisa de um modelo treinado sob medida para fazer isso funcionar para o seu caso de uso." Quase sempre não. A stack de 2026 é projetada para que o modelo permaneça genérico e o seu prompt + a base de conhecimento + as funções façam a personalização. Os modelos treinados sob medida são mais lentos de iterar, mais lentos na inferência e ficam obsoletos no momento em que um novo modelo base é lançado. A maioria das equipes que "precisavam de um modelo personalizado" na verdade precisava de um prompt melhor e de uma base de conhecimento melhor.
"A voz é a parte mais difícil." Na verdade, é uma das partes mais fáceis agora. As vozes padrão de TTS são funcionalmente indistinguíveis das humanas em testes cegos. As partes mais difíceis são a alternância de turnos e o barge-in — as coisas que quem liga não percebe conscientemente, mas absolutamente sente.
A IA de voz em tempo real é um pipeline de streaming: áudio entra → STT → LLM → TTS → áudio sai, com a alternância de turnos e o barge-in o envolvendo. Cada estágio emite a saída antes de o estágio anterior terminar, todo o ciclo se completa em menos de 700ms, e a orquestração é o que separa a produção da demonstração. É essa a arquitetura. Não é mágica. São alguns problemas de engenharia específicos resolvidos bem.
A maioria dos operadores não precisa construir isso por conta própria. Eles precisam entendê-la bem o suficiente para saber o que estão comprando, o que pedir e onde a implementação vai falhar se escolherem o fornecedor errado. Se este artigo te levou a maior parte do caminho até lá, você está em boa forma.
Se você quer ver o pipeline em ação, o caminho mais rápido é construir algo nele. Cadastre-se grátis em dashboard.retellai.com — contas novas recebem US$ 10 em créditos, cerca de 90 minutos de conversa. Ou agende uma demonstração e vamos percorrer a orquestração no contexto do seu volume real de chamadas. Se você preferir ouvir a latência por conta própria, ligue para a nossa linha de demonstração ao vivo e fale com um agente rodando no pipeline acima.
P: O que STT → LLM → TTS de fato significa? R: São os três estágios principais de um pipeline de IA de voz. O STT (conversão de fala em texto) transforma o áudio de quem liga em texto. O LLM (modelo de linguagem de grande porte) lê esse texto mais o seu prompt de sistema e decide o que dizer ou qual função chamar. O TTS (conversão de texto em fala) transforma a resposta de volta em áudio. Envolva a alternância de turnos e o tratamento de barge-in em volta disso e essa é a stack inteira.
P: Quão rápida a IA de voz em tempo real precisa ser? R: Abaixo de ~700ms de tempo de resposta de ponta a ponta é o limiar em que a conversa parece humana. Acima disso, quem liga começa a interromper, a se repetir e a desligar. Stacks de produção como a Retell rodam em torno de 600ms.
P: Para onde a latência de fato vai? R: Principalmente para a alternância de turnos e o tempo até o primeiro token do LLM, não para o STT ou o TTS. Um orçamento típico: rede 50ms, VAD/alternância de turnos 200ms, TTFT do LLM 250ms, primeiro áudio do TTS 100ms. O STT roda em paralelo com a fala de quem liga, então acrescenta quase nada por cima.
P: O que é streaming e por que isso importa? R: Cada estágio do pipeline emite a saída antes de o estágio anterior terminar. O STT emite transcrições parciais a cada ~50ms. O LLM transmite tokens à medida que os gera. O TTS transmite áudio em blocos de 200 a 400ms. Sem streaming, cada estágio espera o último e você gasta mais de 3 segundos antes de um único byte de áudio voltar para quem liga.
P: O que é alternância de turnos e por que é difícil? R: A alternância de turnos é o sistema que decide quando quem liga terminou de falar para que o agente possa responder. É difícil porque os humanos fazem pausas no meio da frase, respiram e dizem "hum" enquanto pensam. Um timeout ingênuo corta quem liga ou parece lento. A resposta de 2026 é um pequeno modelo neural treinado em áudio de conversa real que atualiza uma probabilidade dezenas de vezes por segundo.
P: O que é o tratamento de barge-in? R: É o que acontece quando quem liga começa a falar por cima do agente. Uma boa stack para o TTS em até 100ms, descarta o resto da resposta planejada e inicia um novo stream de STT a partir do novo áudio de quem liga. Uma stack ruim continua falando — a pior sensação em uma chamada telefônica.
P: Eu preciso construir o pipeline por conta própria? R: Quase nunca em 2026. A orquestração — VAD, alternância de turnos, barge-in, coordenação do streaming, roteamento de chamada de função — é a parte para onde vai o investimento sério de engenharia. A maioria das equipes que tenta construí-la por conta própria acaba com uma versão mais lenta e pior do que está disponível pronta para uso. Construa as partes que são proprietárias do seu negócio: prompt, base de conhecimento, endpoints de função, fluxos de trabalho.
P: A escolha do LLM importa tanto assim? R: Sim, mas principalmente para o tempo até o primeiro token, não para a qualidade bruta. Um modelo rápido de nível intermediário com um bom prompt vence um carro-chefe lento para a maioria dos casos de uso de voz. A Retell permite que você troque de LLM com um menu suspenso — o GPT 4.1 é o padrão, o Claude 4.6 Sonnet para raciocínio mais alto, o GPT 5 nano para volume barato, o Gemini 3.0 Flash para multilíngue. (Preços.)
P: Como a chamada de função se encaixa no pipeline? R: Quando o LLM decide chamar uma função em vez de falar, a plataforma dispara um webhook HTTPS com os argumentos estruturados que o modelo extraiu da conversa e então espera a resposta. Esse round-trip acrescenta latência — normalmente algumas centenas de milissegundos para APIs rápidas, mais para as lentas. Para esperas mais longas, o agente normalmente diz "um momento enquanto verifico isso" para preencher a lacuna.
P: Qual é a diferença entre IA de voz e uma URA? R: Uma URA é uma árvore de decisão fixa (pressione 1 para cobrança). A IA de voz roda no pipeline acima — fala aberta entrando, raciocínio do LLM no meio, resposta natural saindo. Quem liga não navega por menus. Apenas fala.
Veja quanto seu negócio poderia economizar ao migrar para agentes de voz com IA.
Total Human Agent Cost
AI Agent Cost
Estimated Savings
Um número de telefone de demonstração do consultório da Retell Clinic
Start building smarter conversations today.
.avif)
.avif)
