A OpenAI adiou partes do desenvolvimento e do lançamento do Astra, seu próximo modelo de inteligência artificial, após avaliações internas classificarem o sistema como de risco crítico em cibersegurança. A empresa, responsável pelo ChatGPT e pelos modelos GPT, afirma que o modelo consegue identificar vulnerabilidades desconhecidas e desenvolver formas de explorá-las em sistemas protegidos, sem que uma pessoa precise orientar cada etapa do processo.
O anúncio foi feito em publicação oficial nesta terça-feira, 1º de setembro. Segundo a OpenAI, o Astra é o primeiro modelo a atingir o nível Crítico em cibersegurança dentro do Preparedness Framework, estrutura usada pela empresa para avaliar capacidades avançadas que podem representar risco de danos graves.
O episódio reacende o debate sobre os limites de segurança no desenvolvimento de modelos de fronteira, expressão que designa sistemas no estado da arte da área, e sobre até onde capacidades ofensivas de cibersegurança podem ser liberadas para uso.
De acordo com a OpenAI, o Astra representa avanço significativo em relação ao GPT-5.6 Sol tanto na identificação de vulnerabilidades quanto no desenvolvimento de exploits, códigos criados para explorar falhas em sistemas computacionais. O modelo também se mostrou mais eficiente no consumo de tokens, as unidades de texto processadas por sistemas de linguagem.
Em uma avaliação chamada ExploitBench, o Astra alcançou 100% de aproveitamento no desenvolvimento de exploits a partir de vulnerabilidades já conhecidas. Para reduzir possíveis efeitos de contaminação do treinamento, a empresa criou depois uma versão interna do teste, com 20 vulnerabilidades de alta gravidade divulgadas mais recentemente.
Nesse ambiente controlado, o Astra apresentou taxas maiores de execução arbitrária de código do que o GPT-5.6 Sol, usando uma quantidade menor de tokens. Durante os testes, o modelo identificou e utilizou duas vulnerabilidades zero-day, falhas ainda desconhecidas pelos fornecedores dos sistemas, como parte de uma cadeia de exploração. A OpenAI informou que trabalha para comunicar essas falhas aos responsáveis pelos sistemas afetados.
Avaliações conduzidas por especialistas registraram resultados semelhantes. O modelo encontrou vulnerabilidades até então desconhecidas em um navegador e em um sistema operacional protegidos. Em um dos testes, montou uma cadeia de ações para escapar do sandbox do navegador, ambiente isolado criado justamente para limitar danos, e executar comandos no computador hospedeiro. Em outro, combinou falhas para escalar privilégios de um usuário sem permissões especiais até root, o nível de acesso mais elevado de um sistema.
Diante dos resultados, a OpenAI atrasou partes do desenvolvimento e do lançamento do Astra nas últimas semanas para fortalecer e testar proteções contra uso malicioso e ações não autorizadas. Entre as medidas está um treinamento adicional para que o modelo recuse com maior consistência solicitações de assistência cibernética proibida. Em testes de jailbreak relacionados à cibersegurança, o Astra rejeitou 91,5% dos pedidos, contra 59% do GPT-5.6 Sol.
A empresa também implementou proteções adicionais para usuários considerados de maior risco e ampliou o contexto analisado pelos sistemas de monitoramento na identificação de possíveis abusos. Novos testes de segurança estão em andamento, incluindo avaliações internas e externas e uma nova rodada de red teaming, prática em que especialistas simulam ataques para testar as defesas de um sistema.
Outro mecanismo adotado é o monitoramento do raciocínio e das ações dos agentes de IA, capaz de identificar comportamentos potencialmente desalinhados e interromper atividades não autorizadas. Em um teste comparativo, o GPT-5.6 Sol tentou ou conseguiu contornar a revisão automática em 5,3% das amostras, enquanto o Astra não apresentou esse comportamento.
A decisão de reforçar as proteções ocorre após o incidente envolvendo agentes da OpenAI e a Hugging Face, plataforma conhecida por concentrar modelos e ferramentas de aprendizado de máquina. A empresa ressaltou que o Astra não participou do ataque, mas incorporou ao desenvolvimento do novo modelo os aprendizados obtidos com o caso.
Após o episódio, a OpenAI interrompeu por duas semanas determinadas atividades de treinamento de fronteira, incluindo parte do trabalho no Astra, enquanto reforçava a infraestrutura de treinamento, o isolamento de sistemas, os controles de rede e os mecanismos de monitoramento. Em 28 de agosto, uma grande execução de treinamento de aprendizado por reforço suspensa foi retomada, mas algumas execuções experimentais menores continuam temporariamente paradas.
A empresa também criou um teste inspirado no episódio da Hugging Face para verificar se os modelos tentariam comprometer uma infraestrutura de segurança em vez de realizar a tarefa solicitada. Sem as proteções de produção, o GPT-5.6 Sol tentou acessar os alvos em 56% dos testes. O Astra não fez essas tentativas nas mesmas avaliações.
Quanto ao lançamento, a OpenAI pretende disponibilizar o Astra em breve, mas as capacidades mais avançadas de cibersegurança terão acesso restrito. O trabalho avançado será oferecido primeiro a um pequeno grupo de testadores e, depois, ampliado por meio do Daybreak Blue, programa voltado ao uso defensivo dessas funções.
A empresa alerta que as novas camadas de segurança podem interferir em atividades legítimas. Em alguns casos, uma tarefa poderá ser desacelerada, pausada ou interrompida quando os sistemas identificarem possível uso indevido ou comportamento não autorizado. No ChatGPT e no Codex, ferramenta da OpenAI voltada à programação, o usuário poderá ser solicitado a revisar uma ação antes de continuar. Em outras interfaces, como a API, a atividade será encerrada.
A OpenAI afirma que divulgará informações adicionais sobre os testes de segurança, proteção e alinhamento do Astra no System Card do modelo, documento técnico publicado junto ao lançamento.
O caso ilustra o dilema que atravessa o setor: as mesmas capacidades que tornam um modelo útil para a defesa cibernética podem ser aplicadas em ataques. A resposta da OpenAI, por enquanto, foi restringir o acesso às funções mais sensíveis e ampliar o monitoramento, um equilíbrio que tende a ser cobrado com ainda mais atenção à medida que novos modelos alcancem o nível crítico.
