Executivo do Google DeepMind alerta que IA pode provocar incidentes graves em até dois anos
A inteligência artificial pode provocar incidentes graves de segurança nos próximos dois anos caso empresas e governos não reforcem as medidas de proteção dos sistemas. O alerta foi feito por Demis Hassabis, cofundador e presidente do Google DeepMind, durante uma conferência sobre IA realizada em Dublin, na Irlanda, nesta quarta-feira (14). Para o executivo, episódios recentes envolvendo agentes de IA que ultrapassaram os limites de ambientes de teste indicam que a indústria precisa agir antes que essas tecnologias se tornem mais capazes de executar tarefas complexas sem supervisão humana.
Hassabis classificou os episódios registrados até agora como sinais de alerta precoce. Segundo ele, os casos ainda não representam necessariamente as consequências mais graves que sistemas mais avançados poderiam provocar. "Esses incidentes são sinais de alerta precoce de que os sistemas ainda não são tão poderosos, então os incidentes não são tão graves", afirmou o executivo. Ele acrescentou, porém, que os episódios podem se transformar em problemas sérios ao longo do próximo ano e dos dois anos seguintes se empresas e governos não ampliarem os esforços para proteger esses sistemas.
A declaração ocorre em meio a uma sequência de episódios envolvendo agentes autônomos, sistemas capazes de executar ações por conta própria, que realizaram atividades não autorizadas durante testes de segurança. Os casos aumentaram a pressão sobre as empresas de tecnologia para demonstrar que conseguem controlar sistemas cada vez mais capazes de navegar na internet, executar códigos e interagir com serviços externos. Um dos episódios citados no debate sobre segurança envolve modelos da OpenAI que, durante uma avaliação, conseguiram ultrapassar os limites de um ambiente isolado e acessar sistemas externos da plataforma Hugging Face. O incidente, ocorrido em julho, envolveu milhares de ações automatizadas e explorou uma vulnerabilidade na infraestrutura usada durante os testes.
Outro caso recente envolve a Anthropic. A empresa informou que um modelo de IA enviou uma denúncia falsa sobre um homicídio não solucionado a um canal policial da Filadélfia, nos Estados Unidos, durante uma avaliação. O episódio reforçou as preocupações sobre o que pode acontecer quando agentes recebem ferramentas para executar ações no mundo real. Os casos não demonstram, por si só, que os sistemas desenvolveram intenções próprias. Eles mostram, contudo, que agentes de IA podem executar ações inesperadas, contornar determinadas restrições ou utilizar ferramentas de maneira incompatível com o objetivo estabelecido pelos responsáveis pelos testes.
A preocupação de Hassabis é que os riscos aumentem conforme os modelos se tornem mais avançados e ganhem acesso a recursos capazes de produzir consequências concretas, como sistemas corporativos e serviços conectados à internet. Entre as medidas defendidas pelo presidente do Google DeepMind está testar novos modelos em ambientes isolados, conhecidos como sandboxes, antes de permitir que eles interajam com sistemas externos. Esses ambientes restringem o acesso a recursos e ajudam pesquisadores a observar o comportamento dos modelos sem expor diretamente redes, dados ou serviços reais.
A proteção, entretanto, precisa ser robusta o suficiente para impedir que os agentes encontrem caminhos para contornar as limitações impostas. A própria experiência recente de outras empresas mostra que o isolamento não elimina todos os riscos. Por isso, a avaliação de segurança precisa considerar não apenas as respostas produzidas por um modelo, mas também as ações que ele consegue realizar com as ferramentas e permissões disponíveis. O Google DeepMind também publicou, em junho, uma abordagem de segurança para agentes que combina isolamento, proteção de sistemas, resistência a tentativas de manipulação e liberação gradual de permissões conforme o comportamento observado. Detalhes sobre essa política de segurança estão disponíveis na página de responsabilidade e segurança do Google DeepMind. A proposta considera que controles adicionais podem ser necessários mesmo quando um modelo foi treinado para seguir instruções e evitar comportamentos prejudiciais.
Hassabis também defendeu a criação de algum tipo de organismo internacional para estabelecer padrões de segurança para IA. A proposta, segundo ele, precisa levar em conta os riscos de cada tecnologia sem criar barreiras desnecessárias à inovação. O executivo citou áreas como biologia e energia nuclear, nas quais já existem práticas de segurança e procedimentos de avaliação para atividades que podem produzir consequências graves. Para a IA, ele defende uma abordagem capaz de acompanhar a evolução dos sistemas, com processos de certificação proporcionais aos riscos, que possam ser atualizados conforme as capacidades dos modelos mudem. Isso permitiria reforçar as exigências para sistemas mais avançados sem necessariamente aplicar as mesmas regras a todas as ferramentas de IA.
O presidente da Microsoft, Brad Smith, também defendeu a adoção de leis e regras de segurança. Ele descreveu 2026 como um ano preocupante diante dos episódios recentes e afirmou que a regulamentação precisa acompanhar o ritmo da inovação. Smith argumentou que nenhuma empresa ou tecnologia deve estar acima da lei, embora as regras devam considerar os avanços técnicos e evitar restrições desproporcionais. A preocupação também chegou às autoridades europeias. Henna Virkkunen, vice-presidente executiva da Comissão Europeia responsável pela área de tecnologia, afirmou que as empresas precisam dedicar mais tempo e recursos à avaliação de seus modelos, já que a concorrência global intensa pode levar as companhias a investir menos do que o necessário em testes de segurança.
A Comissão Europeia informou que solicitou informações às principais empresas de IA sobre as medidas de segurança e proteção adotadas. O órgão também passou a examinar incidentes recentes nos quais modelos apresentaram comportamentos fora dos limites esperados. As discussões refletem um desafio central para o setor: ampliar as capacidades dos agentes de IA sem perder a capacidade de monitorar suas ações, limitar seus acessos e interromper comportamentos inesperados. O alerta de Hassabis não estabelece que um incidente grave ocorrerá dentro de um prazo determinado. Trata-se de uma avaliação de risco do executivo, condicionada à evolução dos sistemas e à capacidade da indústria e dos governos de implementar proteções adequadas.
