Pipeline completo de ajuste fino para modelos de linguagem com uso de ferramentas é apresentado em tutorial técnico
Um tutorial publicado recentemente apresenta um pipeline completo de ajuste fino supervisionado voltado para modelos de linguagem capazes de realizar chamadas de ferramentas, técnica que permite que esses sistemas interajam com funções externas durante uma conversa. O trabalho utiliza o conjunto de dados XYZ-Aquila-SFT, junto das bibliotecas Hugging Face Transformers, PyTorch e PEFT, sigla em inglês para Parameter-Efficient Fine-Tuning, uma abordagem que ajusta apenas um subconjunto dos parâmetros do modelo para reduzir custo computacional.
O processo começa com o carregamento e a inspeção do conjunto de dados em modo streaming, técnica que permite ler os dados sob demanda sem precisar baixar o arquivo inteiro de uma vez. A partir disso, o código faz a análise das trajetórias de uso de ferramentas em múltiplos turnos, extrai chamadas estruturadas e preserva os blocos de raciocínio e observação embutidos nas conversas. Cada exemplo é convertido em um objeto estruturado, o que facilita a verificação de consistência entre o número de chamadas declarado pelo próprio conjunto de dados e aquele efetivamente identificado pelo parser.
Em seguida, o tutorial mostra como converter os esquemas de ferramentas entre dois formatos: o modelo em que as definições estão embutidas na mensagem do sistema e um formato estruturado independente. Essa conversão é testada para garantir que a reconstrução produza exatamente o mesmo conteúdo original, preservando assim a fidelidade dos dados.
Para preparar os dados para o treinamento, o tutorial implementa manualmente o formato ChatML, padrão de marcação usado pelo modelo Qwen para estruturar mensagens, em vez de aplicar diretamente o template do tokenizador. Segundo o autor, a implementação automática do Qwen3 remove os blocos de raciocínio de todos os turnos do assistente, exceto o último, o que destruiria silenciosamente parte relevante da supervisão durante o treinamento. A versão manual aplica perda apenas nos tokens gerados pelo assistente, técnica conhecida como loss masking, que impede que o modelo seja penalizado por tentar prever as mensagens do usuário ou do sistema.
O ajuste fino em si é feito com o modelo Qwen3-0.6B, versão compacta da família Qwen3 com 600 milhões de parâmetros, usando adaptadores LoRA, mecanismo que adiciona pequenas matrizes treináveis ao modelo original para economizar memória e tempo de treinamento. O treinamento utiliza acumulação de gradientes, precisão mista bf16, checkpointing de gradiente e agendamento cosseno da taxa de aprendizado, e é executado por 30 passos como um teste de fumaça, expressão usada para indicar uma verificação rápida de funcionamento, não um treinamento definitivo.
A avaliação compara o desempenho do modelo antes e depois do ajuste fino em tarefas de predição de chamadas de ferramentas. Para isso, o tutorial constrói sondagens chamadas de teacher-forced, em que o modelo recebe o prefixo da conversa até o ponto imediatamente anterior a uma chamada de ferramenta e deve gerar a chamada correta. As métricas incluem a taxa de acerto no nome da ferramenta e o F1 das chaves dos argumentos, medida que combina precisão e revocação em um único valor.
Ao final, o pipeline exporta cada trajetória processada como um registro JSONL estruturado contendo mensagens, esquemas de ferramentas, perguntas e respostas, além de um relatório com estatísticas do corpus, como frequência de uso de cada ferramenta, profundidade das conversas e proporção média de tokens supervisionados.
De acordo com o tutorial, o trabalho fornece uma base prática para escalar o ajuste fino supervisionado voltado ao uso de ferramentas, testar diferentes políticas de comprimento de sequência e treinar modelos agentic, termo que descreve sistemas de inteligência artificial capazes de agir de forma autônoma em múltiplas etapas. O autor destaca que os 30 passos sobre cerca de 350 trajetórias funcionam apenas como uma demonstração e que, para resultados reais, é necessário aumentar o número de exemplos e de etapas de treinamento. O pipeline foi projetado para ser executado em GPUs compatíveis com o Google Colab, ambiente gratuito de notebooks na nuvem, o que amplia o acesso da comunidade a esse tipo de experimentação.
