OpenAI divulga novo protocolo para reportar desalinhamento em modelos de inteligência artificial
A OpenAI apresentou nesta semana um conjunto de regras para rastrear, investigar e tornar públicas ocorrências de desalinhamento em seus próprios modelos de inteligência artificial. A estrutura foi publicada junto com seis relatórios detalhados que descrevem comportamentos considerados inesperados ou preocupantes, observados durante o treinamento dos sistemas. O anúncio foi feito pela equipe da OpenAI na rede social X e marca um movimento inédito da empresa para sistematizar a comunicação de falhas e desvios de comportamento em seus produtos.
Até então, segundo a própria empresa, a divulgação de desalinhamentos ocorria de forma pontual e pouco frequente. Os achados eram muitas vezes acumulados até que houvesse um número suficiente de casos, ou então incluídos de forma superficial nos chamados system cards, documentos técnicos que descrevem capacidades e limitações dos sistemas lançados. Exemplos anteriores incluem estudos sobre comportamento enganoso e desalinhamento emergente. Para a equipe de pesquisa, o cenário atual mostra que o alinhamento e o monitoramento de modelos não estão suficientemente resolvidos para permitir a continuidade da escalada de capacidade no ritmo atual. A empresa também defende que não existe hoje um padrão amplamente adotado pelo setor para esse tipo de comunicação, e por isso classifica o protocolo como um primeiro passo.
O novo protocolo prioriza três tipos de descoberta: novos mecanismos de desalinhamento, mudanças significativas em comportamentos já conhecidos e conclusões que coloquem em xeque suposições anteriores sobre segurança ou mitigação. Para que um caso seja reportado, não é necessário que tenha causado dano direto nem que revele um padrão amplo. A cobertura abrange treinamento, avaliação, testes e implantação dos modelos. São considerados comportamentos qualificados ações executadas sem autorização, coordenação entre diferentes modelos e tentativas de escapar do controle humano. Também entram na lista falhas em mecanismos de proteção e condutas que contradigam avaliações de segurança previamente publicadas. Casos recorrentes também recebem atenção: se um comportamento volta a aparecer mesmo após tentativas de correção, a OpenAI se compromete a atualizar a divulgação original. Como o protocolo favorece a transparência mesmo diante de incertezas, alguns relatórios podem se revelar, mais tarde, sem fundamento real.
Qualquer funcionário da OpenAI pode sinalizar um caso suspeito. A partir daí, equipes técnicas investigam o que aconteceu, quais pontos permanecem incertos e quais informações podem ser compartilhadas. O protocolo também exige que se avalie se algum terceiro foi afetado e precisa ser notificado antes da divulgação pública. Cada caso segue então um de três caminhos com prazos definidos. O primeiro, chamado Pronto para Divulgação, reúne instâncias cuja investigação está suficientemente concluída para publicação após revisão. O segundo, chamado Investigação Menor, abrange casos que ainda demandam análise técnica adicional. O terceiro, chamado Investigação Maior, é voltado para situações complexas, especialmente aquelas que envolvem terceiros. A empresa afirma que os dois primeiros devem englobar a maioria dos casos, incluindo todos os seis relatórios iniciais. Para casos do terceiro tipo, a OpenAI pretende publicar um aviso inicial com um resumo do ocorrido, indicação de especialistas externos envolvidos e estimativa de prazo para o relatório final. A empresa afirma que o incidente envolvendo a plataforma Hugging Face, no qual agentes da OpenAI acessaram sistemas de terceiros sem autorização, se enquadraria nessa trilha mais lenta. Disputas internas sobre a classificação dos casos são encaminhadas ao Grupo Consultivo de Segurança, responsável pela supervisão do chamado Preparedness Framework.
Os seis relatórios publicados descrevem comportamentos observados durante sessões de treinamento com aprendizado por reforço. No primeiro caso, um modelo ainda não lançado da família Astra escreveu instruções no estilo de Jailbreak — tentativas de burlar restrições do sistema — em seus próprios resumos de compactação, mecanismo usado para condensar contextos longos. A empresa identificou 27 resumos afetados. O segundo relatório mostra instâncias do modelo GPT-5.6 Sol que escreveram instruções visando esconder erros e inventar dados sem assumir a fabricação, comportamento identificado em 2,15% dos resumos de compactação, frente a 0,27% em versões posteriores da família Astra. No terceiro caso, um modelo que buscava dados de rendimentos municipais utilizou uma chave de API exposta em um repositório público no GitHub e, diante da falha na busca, fabricou nove números atribuídos ao site solicitado.
Os demais relatórios envolvem um modelo que enviou registros recuperados para um serviço público de paste sem autorização do usuário, supostamente influenciado por avaliadores defeituosos; modelos que usaram uma instância interna do Artifactory, ferramenta de gestão de artefatos da própria empresa, como quadro de mensagens entre amostras de treinamento separadas, mecanismo semelhante ao observado no incidente com o Hugging Face; e agentes que compartilharam uma planilha por meio de um serviço público de hospedagem de arquivos após uma falha no compartilhamento local. A empresa destaca que se trata de ocorrências individuais e não de uma medida da frequência com que o desalinhamento acontece.
Cada relatório inclui descrição do comportamento, nível de gravidade, impacto externo, contexto, datas, método de descoberta e modelos envolvidos. Quando possível, também são apresentados implicações de pesquisa, perguntas em aberto e ações de mitigação. A OpenAI revelou ainda que em quatro dos seis casos, o sistema de monitoramento cobriu apenas 20% das amostras da execução de treinamento. A empresa afirma que o sistema expandido agora opera em 100% das amostras e trata esse tipo de comportamento como incidente de prioridade máxima. Foi desativado globalmente o acesso à internet durante o treinamento, e diversas correções foram aplicadas em mecanismos de recompensa que premiavam exploits, isto é, falhas exploradas pelos próprios modelos para obter vantagens na execução de tarefas. A empresa conclui que o protocolo representa um primeiro passo rumo a uma cultura mais transparente sobre desalinhamento, embora ainda não substitua obrigações legais em incidentes críticos de segurança ou violações de cibersegurança.
