NVIDIA apresenta Nemotron 3.5 Lightning e NeMo Switchyard para agentes de IA que operam de forma contínua
A NVIDIA apresentou nesta semana duas tecnologias abertas voltadas à construção de agentes de inteligência artificial sempre ativos, baseados em sistemas de modelos especializados. Os dois lançamentos chegam em conjunto: o Nemotron 3.5 Lightning, um modelo aberto leve e customizável destinado a tarefas agentivas (execução automática de ações por agentes de IA) de alto volume, e o NeMo Switchyard, uma biblioteca de roteamento também open source capaz de direcionar cada etapa do fluxo de trabalho de um agente ao modelo mais adequado em termos de capacidade e eficiência.
O problema estrutural que motivou ambos os lançamentos está relacionado ao funcionamento de agentes autônomos de longa duração. Esses sistemas passam a maior parte do tempo executando chamadas de ferramentas, validando resultados e delegando tarefas a subagentes. Quando cada uma dessas etapas é enviada a um modelo de raciocínio de fronteira, que são os modelos mais avançados e custosos disponíveis, o resultado é um aumento expressivo de custo e latência, comprometendo a viabilidade operacional dos agentes sempre ativos.
O Nemotron 3.5 Lightning foi projetado justamente para a camada de execução, e não para a camada de planejamento. Trata-se de um modelo de mistura de especialistas, conhecida como MoE (Mixture of Experts, arquitetura em que apenas parte dos parâmetros é ativada a cada inferência), com 30 bilhões de parâmetros totais e 3 bilhões de parâmetros ativos por inferência. Sua arquitetura híbrida combina camadas Mamba-2, MoE e Attention, e oferece uma janela de contexto de até 1 milhão de tokens, possibilitando o processamento de grandes volumes de informação em uma única operação.
O pré-treinamento do modelo foi realizado com mais de 20 trilhões de tokens utilizando a receita NVFP4, um formato de quantização que reduz o tamanho dos dados numéricos para acelerar o processamento sem perda significativa de precisão. O Lightning é o membro mais enxuto da família Nemotron 3, ficando abaixo de modelos como o Nemotron 3 Ultra, que permanece responsável pelo planejamento e orquestração. Na prática, modelos de fronteira cuidam da estratégia, enquanto o Lightning absorve a execução rotineira das chamadas.
Dois mecanismos explicam a velocidade alcançada pelo modelo. O primeiro é a decodificação especulativa, técnica em que um modelo menor antecipa tokens para acelerar a geração de texto pelo modelo principal. Durante o pré-treinamento, foi incorporada a previsão de múltiplos tokens por etapa, com uma fase adicional de reforço chamada MTP-boosting. A NVIDIA também disponibiliza dois modelos rascunhos externos: o DSpark, recomendado para data centers com baixa concorrência e para o DGX Spark, e o DFlash, baseado em difusão por blocos.
O segundo mecanismo é a quantização. Um checkpoint NVFP4 acompanha a versão BF16 original, viabilizando inferência nativa em hardware Blackwell e Hopper, além de compatibilidade com a arquitetura Ampere por meio de kernels W4A16, rotinas de cálculo otimizadas para processar modelos quantizados. Segundo a NVIDIA, a velocidade de saída chega a ser até quatro vezes maior do que a de modelos de porte semelhante. No benchmark PinchBench, o Lightning atinge 86% de precisão completando 10 mil tarefas 30% mais rápido do que o Qwen3.6 35B, com taxa de acerto comparável.
Diversas empresas já estão em processo de customização do modelo para aplicações específicas. CrowdStrike trabalha com detecção de ameaças em cibersegurança, Harvey aplica a tecnologia em serviços jurídicos, CodeRabbit foca em revisão de código, enquanto Fastino Labs e Lila Sciences exploram usos em finanças e saúde. As aplicações mencionadas incluem triagem de logs, análise de contratos, chamadas de ferramentas, validação de resultados, revisão automatizada de código e recuperação de informações em contextos longos.
O modelo é distribuído sob a licença OpenMDW-1.1, com pesos, dados de treinamento e receitas abertos, estando disponível para uso comercial. Pode ser implantado em uma única GPU moderna, como o DGX Spark com chip GB10 ou uma placa H100, o que coloca desenvolvedores individuais e startups em fase inicial no mesmo nível de empresas maiores. Equipes de médio porte podem executá-lo em serviços como Baseten, Together AI e Nebius, enquanto empresas sujeitas a regulamentações podem optar por implantação totalmente on-premises.
O NeMo Switchyard funciona como uma camada complementar ao Lightning. A biblioteca roteadora de código aberto distribui cada etapa do fluxo do agente para o modelo mais eficiente disponível, contando com roteadores que dispensam ajustes finos. Entre as opções estão um classificador baseado em LLM com afinidade de sessão, um roteador de estágio que analisa atividades recentes de ferramentas e um roteador de escalonamento que começa com modelos mais baratos e promove a chamados mais caros diante de dificuldades prolongadas.
Resultados publicados demonstram o impacto da abordagem. A LangChain testou 145 tarefas agentivas de múltiplos turnos, e o roteamento entre Lightning e Claude Opus 4.8 com o escalonador reduziu o custo em 74% em relação a uma linha de base baseada em modelo de fronteira, enviando apenas 7% das chamadas ao modelo topo de linha, com queda de aproximadamente seis pontos percentuais em precisão. Já a Cognition implementou roteamento em estágios no Devin Desktop, alcançando 50,6% de acerto no benchmark FrontierCode Main ao custo médio de 3,11 dólares, dentro de 2,8 pontos da precisão do Opus 5 e com custo cerca de 28% menor.
