NVIDIA apresenta integração multi-GPU do TensorRT no Dynamo-Triton
A NVIDIA anunciou uma nova capacidade de inferência multi-dispositivo do TensorRT, ferramenta de otimização para execução de modelos de inteligência artificial em placas gráficas da empresa. O recurso permite que uma única rede TensorRT seja processada simultaneamente em múltiplas unidades de processamento gráfico (GPUs), atendendo à crescente demanda de memória e poder computacional exigida pelos modelos generativos de IA, que cada vez mais ultrapassam os limites do que uma única GPU pode oferecer.
A nova funcionalidade conta com suporte completo a partir do TensorRT 11.0 e utiliza coletivos distribuídos baseados em NCCL — a biblioteca de comunicação da NVIDIA usada para coordenar operações entre múltiplas GPUs. Segundo a empresa, o recurso preserva todas as otimizações de inferência já existentes no TensorRT, garantindo que o ganho de escala não implique perda de desempenho em relação às implementações tradicionais em GPU única.
A integração foi viabilizada com o lançamento do NVIDIA Dynamo-Triton na versão 26.07, sucessor do NVIDIA Triton Inference Server, plataforma de código aberto da companhia voltada para servir modelos de IA em ambientes de produção. Com a atualização, o backend do TensorRT dentro do Dynamo-Triton passa a oferecer suporte nativo à execução distribuída em múltiplas GPUs.
Na prática, uma única instância do tipo KIND_MODEL no Dynamo-Triton pode ser dona de várias GPUs ao mesmo tempo. Essa instância é capaz de criar contextos de execução do TensorRT por rank — ou seja, para cada uma das placas envolvidas no processamento — além de fluxos CUDA e comunicadores NCCL individuais para cada unidade. Quando uma requisição é recebida, os ranks são iniciados em conjunto, simplificando o fluxo de trabalho que antes exigia coordenação manual entre as placas.
Um dos principais benefícios anunciados está na forma como o sistema é acessado pelos desenvolvedores. Em vez de a aplicação precisar lidar diretamente com a coordenação entre os ranks das GPUs, basta chamar um único modelo nomeado por meio de um endpoint gRPC, que é um protocolo de comunicação remota baseado em HTTP/2 frequentemente utilizado em arquiteturas de microsserviços. Dessa forma, a complexidade da execução distribuída fica encapsulada dentro do backend, enquanto a interface permanece a mesma de uma chamada convencional.
A novidade reflete uma tendência observada pela própria NVIDIA em relação ao crescimento dos modelos generativos. À medida que esses sistemas ficam maiores, exigir uma única GPU se torna inviável tanto em capacidade de memória quanto em capacidade de processamento, tornando necessária a distribuição do trabalho entre várias placas. Historicamente, alcançar esse tipo de execução distribuída com TensorRT exigia a combinação da ferramenta com soluções externas, como TensorRT-LLM ou o próprio Triton Inference Server, além de várias semanas de ajuste de engenharia para cada modelo.
Com a mudança, o suporte multi-dispositivo passa a estar integrado diretamente ao motor de inferência. Os benefícios técnicos preservados incluem otimizações de fusão de kernels — combinação de múltiplas operações em uma única instrução executada pela GPU — e gerenciamento avançado de memória. O resultado é uma infraestrutura que tende a reduzir o tempo de implementação e diminuir a barreira de entrada para equipes que precisam colocar modelos generativos em produção.
O anúncio foi publicado no blog oficial de desenvolvedores da NVIDIA em 21 de setembro de 2026, sendo assinado pelos engenheiros Daisy Chu, Peter Kisfaludi, Zhaoyuan He, Joseph Loftin e Byungsoo Jeon. A publicação marca mais um passo da empresa na consolidação do Dynamo como plataforma central para servir modelos de IA em larga escala, reunindo em um único ecossistema recursos antes dispersos entre diferentes ferramentas e bibliotecas.
Com a integração nativa do TensorRT multi-dispositivo ao Dynamo-Triton, a NVIDIA busca simplificar um dos pontos mais complexos da operação de modelos generativos: a distribuição eficiente do processamento entre múltiplas GPUs. Ao unificar a comunicação distribuída, a gestão de memória e o acesso via endpoint padrão em uma mesma camada da plataforma, a empresa reduz a carga técnica sobre desenvolvedores e aproxima a execução distribuída de um modelo de uso mais próximo ao de uma única GPU, ainda que preservando as otimizações de desempenho acumuladas em versões anteriores do TensorRT.
