OpenAI reestrutura pilha WebRTC para entregar voz por inteligência artificial em baixa latência e escala global
A equipe responsável por interações em tempo real da OpenAI reescreveu por completo sua pilha de comunicação por voz, migrando para uma arquitetura dividida entre retransmissão e transceptor para resolver problemas críticos de escala, latência e estabilidade de sessões. A reestruturação, detalhada em publicação oficial da empresa, aborda três desafios que começaram a colidir à medida que o uso da voz por inteligência artificial crescia: o modelo tradicional de uma porta por sessão de mídia, a necessidade de manter a estabilidade de sessões com estado e a exigência de roteamento global com baixíssimo atraso na primeira resposta.
O WebRTC, ou Comunicação Web em Tempo Real, é o conjunto de protocolos e interfaces de programação que permite a transmissão direta de áudio e vídeo entre navegadores e aplicativos, sem necessidade de plugins ou softwares adicionais. Essa tecnologia é amplamente utilizada em plataformas de videoconferência e, mais recentemente, tornou-se o canal de transporte fundamental para sistemas de voz baseados em inteligência artificial, pois oferece controle de congestão, correção de erros e criptografia nativa, elementos essenciais para conversas fluidas entre pessoas e modelos de linguagem.
A abordagem original da OpenAI seguia o padrão convencional do WebRTC, no qual cada sessão de comunicação ocupava uma porta dedicada no servidor de mídia. Esse modelo funciona bem em volumes moderados, mas apresentou limitações severas quando o volume de chamadas simultâneas começou a escalar. O fenômeno conhecido como exaustão de portas ocorre quando o número máximo de portas disponíveis em um servidor é atingido, impedindo a criação de novas conexões. Em uma infraestrutura baseada em contêineres orquestrados por ferramentas como Kubernetes, esse problema se torna ainda mais acentuado, pois cada contêiner possui um conjunto limitado de portas e a alocação dinâmica de instâncias não se alinha bem ao modelo de sessões com estado prolongado.
Além da exaustão de portas, a OpenAI enfrentava o problema da aderência de estado. As sessões do WebRTC dependem de dois protocolos com estado: o ICE, responsável por descobrir e estabelecer caminhos de conexão entre os dispositivos, e o DTLS, que garante a segurança da comunicação por meio de criptografia. Ambos exigem que os pacotes de uma mesma sessão sejam processados pelo mesmo servidor durante toda a duração da chamada. Qualquer redirecionamento de tráfego para outra instância no meio da conversa poderia interromper a sessão abruptamente, causando quedas de ligação ou falhas na troca de turno de fala, algo inaceitável em uma experiência de conversa por voz.
O terceiro desafio diz respeito ao roteamento global. Para que a voz por inteligência artificial funcione de forma natural, o atraso entre o momento em que o usuário termina de falar e o instante em que o modelo começa a responder precisa ser mínimo. Esse intervalo é influenciado diretamente pela distância geográfica entre o usuário e o servidor que processa a conexão. Manter a latência do primeiro salto baixa em um ambiente distribuído por múltiplas regiões exige uma estratégia de roteamento capaz de direcionar cada usuário ao ponto de presença mais próximo de forma automática e transparente.
Para enfrentar esses três problemas simultaneamente, a OpenAI concebeu uma arquitetura que separa as responsabilidades do WebRTC em duas camadas distintas. A primeira camada é o retransmissor global, que atua como ponto de entrada para todos os pacotes de mídia vindos dos clientes. A segunda camada é o cluster de transceptores, onde as sessões de ICE e DTLS são efetivamente processadas. Essa divisão permite que o retransmissor receba os pacotes em qualquer região do mundo e os encaminhe ao transceptor correto, preservando o comportamento padrão do WebRTC do ponto de vista do cliente enquanto altera internamente a forma como o tráfego é roteado dentro da infraestrutura da empresa.
O roteamento entre as duas camadas é feito com base nas credenciais de ICE, que são identificadores únicos gerados durante a negociação de conexão. Ao usar essas credenciais como chave de roteamento, o retransmissor consegue determinar para qual transceptor específico cada pacote deve ser enviado, garantindo que a sessão com estado seja sempre processada pela mesma instância. Essa abordagem elimina a necessidade de vincular uma porta dedicada a cada sessão no ponto de entrada e resolve o problema da aderência de estado sem comprometer a escalabilidade do sistema.
Para minimizar a latência geográfica, a OpenAI implementou um sistema de sinalização com direcionamento geográfico automático, conhecido como geo-steered signaling. Quando um cliente inicia uma conexão, a sinalização é direcionada ao ponto de presença mais próximo do usuário. A partir desse ponto, os pacotes de mídia são encaminhados ao retransmissor local, que por sua vez os roteia ao transceptor responsável pela sessão. Essa estratégia reduz significativamente a latência do primeiro salto e melhora a experiência percebida pelo usuário, especialmente em regiões distantes dos centros de processamento principais.
A implementação do retransmissor global apresentou desafios específicos de desempenho. Como toda a comunicação de voz da plataforma passa por essa camada, o retransmissor precisa processar um volume extremamente alto de pacotes com sobrecarga mínima. A OpenAI desenvolveu o componente com foco em eficiência de roteamento, aproveitando as credenciais de ICE como índice de lookup rápido para determinar o destino de cada pacote. Os resultados preliminares da nova arquitetura indicam que o sistema é capaz de manter a latência baixa enquanto opera em escala global, resolvendo os gargalos que afetavam o modelo anterior.
A reestruturação da pilha WebRTC representa um avanço importante na infraestrutura de voz por inteligência artificial. Ao separar a função de retransmissão da função de processamento de sessão, a OpenAI criou um modelo que combina a familiaridade e a confiabilidade do WebRTC padrão com uma arquitetura interna capaz de escalar horizontalmente. A empresa destaca que os aprendizados obtidos durante esse processo de reestruturação serão úteis para a evolução contínua de seus produtos de voz em tempo real, e que os resultados já alcançados demonstram a viabilidade do modelo de retransmissor mais transceptor para atender demandas crescentes de uso simultâneo em âmbito global.
