World Action Models: a nova fronteira da manipulação robótica
Um dos principais desafios da robótica moderna é construir políticas de controle que consigam generalizar além das demonstrações usadas em seu treinamento. Na prática, um robô pode executar uma tarefa com sucesso em um ambiente controlado, mas falhar quando mudam a forma dos objetos, suas posições ou a iluminação do local. Para superar essa limitação, é necessário que a política de controle compreenda a física por trás da tarefa, e não apenas memorize os exemplos recebidos. Essa capacidade está ligada à estrutura fundamental, conhecida como backbone, sobre a qual o sistema é construído.
Tradicionalmente, esse papel vem sendo desempenhado pelos chamados Modelos Visão-Linguagem-Ação, ou VLAs (sigla em inglês para Vision-Language-Action Models). Esses modelos são baseados em grandes modelos visão-linguagem, os VLMs, treinados com dados estáticos da internet. O sistema recebe imagens de vídeo e instruções em texto, processa essas informações em um módulo de raciocínio e, em seguida, combina o resultado com o estado do robô para gerar ações por meio de um módulo de difusão. O problema é que os VLAs precisam inferir, de forma implícita, a dinâmica física complexa e as dependências temporais a partir apenas de trajetórias de robôs. Isso cria uma dependência crescente de grandes volumes de dados de demonstração para compensar a ausência de um conhecimento físico prévio embutido no modelo.
Uma nova abordagem vem ganhando espaço para resolver essa questão. Pesquisadores passaram a utilizar modelos de mundo baseados em vídeo como backbone, em vez dos modelos visão-linguagem. A partir dessa ideia surgem os Modelos de Ação de Mundo, conhecidos como WAMs (do inglês World Action Models). Diferentemente dos VLAs, os WAMs constroem suas políticas de controle sobre um modelo que aprende como o mundo evolui. Isso significa que o pós-treinamento não precisa ensinar a dinâmica do zero, mas sim especializar um modelo que já possui um conhecimento prévio de física embutido.
O artigo de pesquisa da NVIDIA intitulado "World Action Models are Zero-shot Policies" demonstra que prever vídeo e ação de forma conjunta confere à política propriedades que um VLA dificilmente consegue adquirir. Essa arquitetura permite que o sistema generalize para novas tarefas, novos robôs e novos ambientes sem necessidade de treinamento adicional, o que é chamado de transferência zero-shot. A capacidade de generalização vem da modelagem direta da dinâmica, e não apenas de mapeamentos semânticos entre visão e linguagem.
Na comparação entre as duas abordagens, a diferença central está na forma como cada arquitetura processa as informações. Um VLA tradicional passa o vídeo e o texto por um raciocinador baseado em modelo visão-linguagem e, depois, combina esse resultado com o estado do robô em um módulo de difusão para gerar ações. Já um Modelo de Ação de Mundo faz o pós-treinamento conjunto de um raciocinador e de um modelo de difusão sobre vídeo, texto e estado, prevendo simultaneamente quadros futuros de vídeo e ações do robô. Com isso, o sistema aprende ao mesmo tempo o que fazer e o que vai acontecer como consequência.
Diversas iniciativas já exploram esse paradigma. Entre os exemplos públicos estão o DreamZero e o Cosmos Policy, ambos da NVIDIA, além do LingBot-VA, do Ant Group, do DVA, da Rhoda AI, do Cortex 2.0, da Sereact, e do mimic-video, da Mimic Robotics. Laboratórios universitários e grupos de pesquisa aberta também têm contribuído com propostas como Video Prediction Policy, Unified Video Action Model e Fast-WAM. O próprio mimic-video utiliza como backbone o Nvidia Cosmos-Predict2, um modelo generativo de vídeo que fornece ricos priors de dinâmica física aprendidos a partir de dados de vídeo em grande escala. Resultados publicados indicam que essa abordagem atinge desempenho de ponta em tarefas simuladas e reais de manipulação robótica, com melhora de dez vezes na eficiência de amostras e de duas vezes na velocidade de convergência em comparação com arquiteturas VLA tradicionais.
O avanço dos Modelos de Ação de Mundo aponta para uma mudança relevante na forma como se desenvolve a inteligência aplicada à robótica. Ao incorporar o entendimento da física desde a etapa de pré-treinamento, esses modelos reduzem a dependência de dados de teleoperação e ampliam a capacidade dos robôs de operar em situações nunca vistas durante o treinamento.
