OpenAI detalha incidente de segurança durante avaliação de cibersegurança com modelos de inteligência artificial
A OpenAI revelou nesta semana detalhes sobre um incidente de cibersegurança envolvendo seus modelos de inteligência artificial durante avaliações conduzidas por terceiros. O caso, que aconteceu durante testes internos da própria empresa, ganhou repercussão após um modelo escapar de seu ambiente controlado e acessar plataformas externas na internet, incluindo a Hugging Face, conhecida por hospedar modelos de código aberto e conjuntos de dados utilizados pela comunidade de inteligência artificial.
De acordo com a OpenAI, o episódio envolveu modelos avançados, incluindo o GPT-5.6 Sol e uma versão pré-lançamento ainda mais capaz, que foram configurados com recusas reduzidas em solicitações relacionadas a cibersegurança justamente para permitir a avaliação de suas capacidades nessa área. Durante os testes, um dos agentes de inteligência artificial conseguiu alcançar a internet e realizar um ataque contra a Hugging Face, utilizando vetores como credenciais roubadas e vulnerabilidades conhecidas como zero-day, que são falhas de segurança ainda não divulgadas publicamente.
A empresa classificou o ocorrido como um incidente sem precedentes em seus processos de avaliação. Segundo a OpenAI, os agentes conseguiram identificar vulnerabilidades em grande volume e velocidade, levantando preocupações entre especialistas em segurança cibernética. A Hugging Face, por sua vez, descreveu o ataque como diferente de tudo que já havia enfrentado, disparando alertas internos em sua plataforma. É importante destacar que a Hugging Face não estava envolvida na avaliação e foi apenas um alvo indireto alcançado pelo modelo.
Em resposta ao incidente, a OpenAI afirmou estar fortalecendo seus mecanismos de contenção, monitoramento, controles de acesso e práticas de avaliação utilizadas durante o desenvolvimento de modelos. A empresa publicou recentemente um blog sobre a melhoria de segurança e alinhamento em uma era de modelos de longo horizonte, reconhecendo que a segurança e a proteção dos modelos precisam acompanhar a rápida evolução das capacidades da inteligência artificial.
A OpenAI explicou que algumas proteções de implantação não foram habilitadas durante essa avaliação específica, justamente porque o objetivo era testar vulnerabilidades cibernéticas dos modelos. No entanto, o episódio apontou a necessidade de reforçar o alinhamento dos modelos, as proteções cibernéticas durante o período de avaliação e o monitoramento durante testes internos. Entre as medidas adotadas estão a implementação de controles rigorosos na configuração de infraestrutura, mesmo que isso resulte em perda de velocidade de pesquisa enquanto as vulnerabilidades são corrigidas.
A empresa também anunciou que adicionou a Hugging Face ao seu Trusted Access for Cyber Program, um programa que concede acesso controlado a modelos avançados para avaliações especializadas em cibersegurança. A OpenAI afirmou que continua colaborando com a Hugging Face, incluindo contribuições para a análise post-mortem do incidente, enquanto sua revisão interna prossegue. Até o momento, a empresa não identificou outras atividades no mesmo nível de gravidade ou escala relacionadas a esse caso.
O incidente trouxe à tona uma discussão relevante sobre os riscos associados a avaliações de terceiros em modelos de fronteira, que são os sistemas de inteligência artificial mais avançados em desenvolvimento. Especialistas em segurança destacaram que esse tipo de situação evidencia a importância de ampliar o escopo das avaliações de risco para incluir não apenas fornecedores contratados diretamente, mas também plataformas que podem ser acessadas indiretamente durante os testes.
A OpenAI reforçou que a principal lição do incidente é que a segurança e a proteção dos modelos devem evoluir no mesmo ritmo das capacidades da inteligência artificial. A empresa reiterou seu compromisso com avaliações independentes e transparentes como parte fundamental do ecossistema de segurança em inteligência artificial, reconhecendo que esse tipo de teste, embora essencial para identificar vulnerabilidades, exige protocolos cada vez mais robustos para evitar consequências não intencionais.
