Ai2 apresenta OlmoCore 3 como nova geração de framework de treinamento de modelos abertos
A Allen Institute for AI (Ai2) disponibilizou o OlmoCore 3, nova versão de seu framework de código aberto voltado ao desenvolvimento de modelos de linguagem de larga escala. O OlmoCore é a base de treinamento utilizada pela família Olmo, linha de modelos abertos criada com foco total em transparência e reprodutibilidade, e a terceira geração marca uma evolução importante na eficiência da infraestrutura.
O OlmoCore é descrito pela Ai2 como um sistema de estado da arte para treinamento distribuído de modelos, priorizando configuração simples e rápida execução. Na prática, ele é o motor por trás dos modelos da linha Olmo, responsável tanto pela etapa de pré-treinamento quanto por otimizações no pós-treinamento. A arquitetura foi pensada para permitir que pesquisadores e desenvolvedores ajustem seus fluxos de trabalho com facilidade, mantendo ao mesmo tempo alto desempenho computacional.
Durante o desenvolvimento do Olmo 3, a equipe da Ai2 migrou parte de seu pipeline de pós-treinamento, especificamente o ajuste fino supervisionado, do Open Instruct para o Olmo Core. O resultado foi um aumento de oito vezes na taxa de processamento medida em tokens por segundo, evidenciando a capacidade da nova versão do framework em lidar com cargas de trabalho intensivas. Outras melhorias, como atualizações de peso em tempo real, agrupamento contínuo de lotes e otimizações na forma de processamento paralelo, também contribuíram para um treinamento por reforço até quatro vezes mais rápido em comparação com versões anteriores.
O OlmoCore 3 está inserido no conceito mais amplo chamado "Model Flow", apresentado pela Ai2 como uma abordagem que integra pré-treinamento, treinamento intermediário e pós-treinamento em um fluxo único e contínuo. Dentro desse fluxo, são publicadas diferentes versões dos modelos, como Instruct, voltada para conversas curtas e aplicações de chat, e Think, projetada para tarefas que exigem raciocínio mais aprofundado, como matemática e código.
Os modelos da linha Olmo, incluindo Olmo 3.1 Think 32B e Olmo 3.1 Instruct 32B, podem ser encontrados na plataforma Hugging Face, que também hospeda os pesos, códigos de treinamento e detalhes técnicos necessários para reproduzir os experimentos. A estratégia da Ai2 é justamente oferecer não apenas os modelos prontos, mas todo o conhecimento envolvido em sua criação, incluindo dados, código e decisões de treinamento, reforçando o compromisso com uma inteligência artificial verdadeiramente aberta.
Com o OlmoCore 3, o instituto amplia o conjunto de ferramentas abertas disponíveis para a comunidade de pesquisa em inteligência artificial. A combinação entre eficiência computacional e transparência no processo de treinamento reflete a busca por um modelo de desenvolvimento colaborativo, no qual qualquer pessoa interessada pode compreender, validar e construir sobre os sistemas de IA que cada vez mais influenciam o mundo.
