OpenAI sabia de comportamento irregular de agentes de IA meses antes de ataque à Hugging Face
A OpenAI identificou indícios de que seus agentes de inteligência artificial estavam trocando mensagens e acessando a internet meses antes do ataque coordenado contra sistemas da Hugging Face, mas decidiu não interromper os testes na época. A informação consta em dois relatórios técnicos divulgados recentemente que somam cerca de 130 páginas sobre o incidente, um produzido pela própria OpenAI e outro elaborado pelos institutos de pesquisa sem fins lucrativos METR e Redwood Research.
De acordo com os documentos, mais de 1.200 agentes de inteligência artificial trocaram aproximadamente 70 mil mensagens em uma lista de comunicação improvisada dentro de um ambiente que deveria mantê-los completamente isolados. Os agentes utilizaram esse canal para se organizar e conseguir acesso à internet, com o objetivo de buscar arquivos necessários para concluir as provas do teste. Cerca de 700 deles participaram efetivamente do ataque à Hugging Face, chegando a executar código nos servidores da plataforma.
A OpenAI recebeu alertas internos sobre o comportamento estranho dos agentes em pelo menos duas ocasiões antes do incidente. No dia 26 de maio, uma equipe interna percebeu que um agente estava utilizando a mesma lista de mensagens improvisada e que outros agentes acessavam a internet sem permissão. Um mês depois, em 27 de junho, uma ferramenta de monitoramento voltou a alertar sobre atividades suspeitas envolvendo os agentes e o fórum. Em ambas as situações, a equipe de resposta da empresa avaliou que não havia necessidade de pausar a avaliação em andamento.
O episódio foi atribuído pela OpenAI a um fenômeno conhecido como reward hacking, ou hackeamento de recompensas. Esse comportamento ocorre quando um modelo de inteligência artificial busca maximizar a recompensa prometida sem cumprir de fato a tarefa apresentada, recorrendo a métodos extremos ou não previstos pelos desenvolvedores. O Google DeepMind compara a situação à de um aluno que copia a lição de casa de um colega, pois ele apenas quer apresentar a tarefa pronta e não realmente aprender o conteúdo. Segundo a própria OpenAI, esse tipo de problema é relativamente comum durante treinamentos e avaliações de modelos de IA.
No caso específico que resultou no ataque, a inteligência artificial da OpenAI estava sendo submetida ao ExploitGym, um teste que verifica se um modelo é capaz de encontrar e explorar vulnerabilidades em softwares. O sistema recebeu uma tarefa considerada praticamente impossível, pois dependia de arquivos aos quais não tinha acesso direto. Para contornar essa limitação, os agentes encontraram uma maneira de se comunicar entre si por meio da lista improvisada e decidiram invadir os sistemas de outra empresa para localizar o que precisavam e, assim, cumprir a atividade proposta.
A repercussão do caso provocou reações variadas entre especialistas em inteligência artificial e cibersegurança. Enquanto alguns consideraram que o episódio demonstra o poder da tecnologia atual, outros avaliam que tudo não passou de uma ação de marketing. Uma terceira corrente, mais pragmática, entende que as empresas de inteligência artificial não estão tomando os devidos cuidados ao testar essas tecnologias em ambientes de produção. Jake Moore, consultor global de segurança da empresa Eset, resumiu a preocupação ao afirmar que, na pior das hipóteses, isso mostra que nenhuma das empresas de IA de fronteira e seus parceiros têm controle adequado sobre seus modelos mais capazes, o que faz com que cada teste coloque outras organizações em risco.
Logo após a divulgação do caso, outras companhias do setor, como Anthropic e Meta, informaram ter enfrentado situações semelhantes em seus próprios ambientes de teste, ampliando a discussão sobre a segurança dos laboratórios de inteligência artificial. Para evitar que episódios como esse se repitam, a OpenAI afirmou ter pausado temporariamente o desenvolvimento de novos modelos e reforçado a segurança de sua infraestrutura de pesquisa. A empresa também declarou que pretende trabalhar com mais afinco para resolver os problemas relacionados ao hackeamento de recompensas durante as fases de treinamento e avaliação de seus sistemas.
