Pipeline compacto de pós-treinamento com Open Instruct leva ajuste supervisionado, DPO e RLVR para ambientes com 16 GB de memória
Um tutorial técnico recente detalha a construção de um pipeline completo de pós-treinamento para modelos de linguagem compactos, utilizando como base o framework Open Instruct, mantido pelo AllenAI. O material descreve a implementação das três principais etapas do chamado stack Tulu 3 — ajuste fino supervisionado, otimização direta de preferências e aprendizado por reforço com recompensas verificáveis — adaptadas para rodar em ambientes com memória limitada, como o Google Colab, com apenas 16 GB de memória de execução disponíveis.
O ponto de partida da implementação é o modelo Qwen2.5-0.5B-Instruct, uma versão leve já ajustada para seguir instruções. A partir dele, os autores replicam a lógica central de otimização do Tulu 3, substituindo componentes distribuídos pesados, como vLLM, Ray actors, DeepSpeed e filas assíncronas de rollouts, por alternativas baseadas em Hugging Face e PyTorch, mais leves e compatíveis com hardware de consumo. O objetivo é demonstrar que o pipeline pode ser estudado e executado fora de grandes clusters de GPU, preservando os princípios matemáticos por trás de cada estágio de treinamento.
A primeira etapa é o ajuste fino supervisionado, conhecido pela sigla SFT. Nessa fase, o modelo aprende a gerar respostas no formato esperado a partir de exemplos rotulados. O tutorial utiliza o conjunto de dados GSM8K, formado por problemas de matemática escolar acompanhados de soluções passo a passo. Cada exemplo é convertido para um formato conversacional, tokenizado com o template de chat do modelo e processado por um DataLoader com agrupamento por comprimento. A função de perda é calculada apenas sobre os tokens da resposta do assistente, enquanto os tokens do usuário permanecem mascarados, técnica implementada por uma das funções nativas do repositório Open Instruct. O ajuste é feito sobre adaptadores LoRA, módulos leves que modificam apenas parte dos parâmetros do modelo, reduzindo drasticamente o consumo de memória e permitindo o treinamento em hardware modesto.
Na sequência, o pipeline aplica a otimização direta de preferências, método conhecido como DPO. Essa técnica compara pares de respostas — uma considerada correta e outra deliberadamente construída com a resposta final alterada — e ajusta o modelo para aumentar a probabilidade da resposta preferida em relação à rejeitada. O tutorial reaproveita as funções originais de cálculo de log-probabilidades e a função de perda DPO diretamente do código-fonte do Open Instruct, evitando reimplementações que poderiam introduzir divergências em relação à referência. O monitoramento inclui métricas como acurácia de preferência e margem de recompensa, oferecendo visibilidade sobre o progresso do treinamento.
A etapa final é o aprendizado por reforço com recompensas verificáveis, etapa chamada RLVR. Diferentemente de métodos tradicionais que dependem de modelos de recompensa treinados, o RLVR utiliza verificadores determinísticos para avaliar a correção das respostas geradas. No tutorial, três verificadores nativos do Open Instruct são empregados: um para GSM8K, um para problemas matemáticos no formato de expressões LaTeX e outro para tarefas antigas de avaliação de instruções. A cada iteração, o modelo gera múltiplas amostras para cada prompt, que são pontuadas automaticamente. A partir dessas pontuações, são calculadas vantagens relativas ao desempenho médio do grupo, técnica conhecida como GRPO. O algoritmo aplica recorte no cálculo da probabilidade, regularização por divergência KL em relação ao modelo de referência e mascaramento adequado das respostas, evitando que tokens de padding ou tokens posteriores ao final da geração influenciem o gradiente.
A execução inclui ainda etapas de avaliação automatizada a cada fase. Utilizando decodificação gulosa, o modelo tem suas respostas comparadas com o gabarito oficial do GSM8K por meio do verificador matemático, gerando uma métrica de acurácia verificável. O tutorial acompanha a evolução dessa métrica nos quatro pontos do pipeline: linha de base original, após SFT, após DPO e após RLVR. Ao final, os adaptadores LoRA são mesclados aos pesos do modelo original, produzindo um checkpoint equivalente ao que seria gerado pelo script oficial de merge do Open Instruct, pronto para inferência ou avaliação posterior.
O material destaca que, mesmo em escala reduzida, o pipeline preserva a lógica matemática e os procedimentos centrais do stack Tulu 3, permitindo que pesquisadores e estudantes estudem técnicas avançadas de pós-treinamento sem a necessidade de infraestrutura de grande porte. A combinação de adaptadores LoRA, verificadores determinísticos e funções de perda extraídas diretamente do repositório oficial oferece um caminho reprodutível para experimentar com ajuste supervisionado, preferências e reforço por recompensas verificáveis em modelos compactos.
