Ex-OpenAI defende que empresas de IA sigam regras de usinas nucleares para evitar desastres
A cultura da indústria da inteligência artificial quebrou. A conclusão é de David Robinson, que trabalhava na OpenAI, desenvolvedora do ChatGPT, e era justamente quem escrevia os relatórios de segurança que acompanhavam os grandes lançamentos de modelos de IA da empresa. Em um editorial publicado nesta semana na The Atlantic, o especialista defendeu que o setor precisa de salvaguardas de nível nuclear.
Segundo Robinson, que deixou a OpenAI, o problema é tão profundo que regular o setor, ou seja, criar regras para o treinamento de modelos de IA, não seria suficiente para resolvê-lo. Em sua avaliação, a dimensão dos riscos atuais exige mudanças mais estruturais na forma como as companhias conduzem o desenvolvimento da tecnologia, algo que vai além de normas e de fiscalização externa.
"Diante dos riscos atuais, os laboratórios de ponta precisam operar como usinas nucleares ou aeroportos movimentados, com camadas de redundância e um planejamento cuidadoso e demorado, para que o erro humano – ocasional e inevitável – não abra caminho para um desastre", escreveu Robinson no editorial.
Nas críticas ao setor, o ex-integrante da OpenAI aponta que o Vale do Silício tem operado com "extrema confiança" e em ciclos de trabalho acelerados e permanentes. Nesse modelo, segundo ele, a indústria constrói modelos cada vez maiores e melhores movida por um "otimismo irrestrito", que ignora ou subestima problemas potenciais da própria tecnologia.
Para Robinson, chegou a hora de as empresas de IA desenvolverem um senso de humildade e de olharem para além do mundo fechado da indústria de tecnologia, ainda regido pela mentalidade de "agir rápido e quebrar coisas". A recomendação reforça a ideia de que a maturidade do setor depende menos da velocidade dos lançamentos e mais da capacidade de reconhecer limites e riscos reais.
O alerta do especialista não chega isolado. Ele vem na esteira de uma sequência de saídas de pesquisadores e profissionais de segurança de empresas de destaque no setor. Jacob Coxon parece ter iniciado esse êxodo ao deixar a Anthropic, companhia que também atua no desenvolvimento de modelos avançados de IA.
No X, antigo Twitter, o colega de Coxon Evan Hubinger escreveu que a IA "poderia nos matar a todos até o final da década". Na publicação, ele afirmou acreditar seriamente que sistemas de inteligência artificial poderiam causar a morte de todos os seres humanos e estimou, em avaliação pessoal, mais de 10% de chance de isso ocorrer na próxima década.
Ainda segundo Hubinger, a Anthropic está tentando fazer o seu melhor, mas a empresa ainda não tem um plano para resolver o problema do alinhamento de superinteligências — o desafio de garantir que sistemas muito mais capazes ajam de acordo com os interesses humanos — e não está claramente no caminho para alcançar esse objetivo.
Depois da saída de Coxon, pipocaram alertas de outros nomes ligados à segurança em IA. Robert O'Callahan, Bilal Chughtai e Josh Engels, do Google DeepMind, além de Joe Benton, da Anthropic, também se manifestaram e reacenderam o debate sobre a pressa com que a indústria tem avançado na corrida por sistemas mais poderosos.
O editorial de Robinson resume, assim, um momento de tensão dentro da própria indústria de IA. Para quem escrevia os relatórios de segurança dos lançamentos da OpenAI, nem a regulação nem o otimismo do Vale do Silício serão capazes de conter riscos da tecnologia. A saída apontada é outra: humildade, planejamento demorado e camadas de redundância semelhantes às de usinas nucleares, para que erros humanos inevitáveis não se transformem em desastres.
