Cloudflare bloqueia por padrão robôs de IA a partir de setembro
A Cloudflare, empresa de infraestrutura que intermedia boa parte do tráfego da internet mundial, anunciou uma nova política para controlar o acesso de robôs de inteligência artificial a sites de seus clientes. A mudança foi divulgada em primeiro de julho e terá efeito prático a partir do dia quinze de setembro, quando novos sites cadastrados na plataforma passarão a bloquear, por padrão, dois tipos específicos de rastreadores automáticos usados por sistemas de IA.
A alteração substitui o antigo botão único de "bloquear bots de IA" por um sistema de três categorias. A primeira, chamada Search, abrange robôs que indexam páginas para responder perguntas sobre elas posteriormente, como acontece com mecanismos de busca tradicionais. A segunda, chamada Agent, cobre sistemas automatizados que atuam em tempo real buscando páginas em nome de um usuário, incluindo bots de busca em tempo real como o do ChatGPT e agentes que conduzem navegadores. A terceira, chamada Training, é destinada a rastreadores que coletam conteúdo para alimentar o treinamento de modelos de inteligência artificial.
As três categorias estão disponíveis desde primeiro de julho para todos os clientes da Cloudflare, inclusive aqueles que utilizam o plano gratuito. Os administradores de sites podem configurar cada categoria de forma independente, permitindo ou bloqueando o acesso conforme sua preferência. A Cloudflare também disponibilizou uma base de dados chamada BotBase, que lista os robôs conhecidos e suas classificações, além de permitir que clientes corporativos definam como o conteúdo coletado pode ser utilizado após o rastreamento.
O ponto central da mudança, porém, está nas novas regras padrão que entram em vigor em quinze de setembro. A partir dessa data, as categorias Training e Agent serão bloqueadas automaticamente em páginas que exibem anúncios, enquanto a categoria Search continuará permitida por padrão. As novas configurações se aplicam a novos domínios que passem a usar a Cloudflare, a sites recém-criados por clientes já existentes e a todos os clientes do plano gratuito que já utilizam a plataforma.
A lógica adotada pela empresa parte de uma premissa simples. Segundo a Cloudflare, a presença de publicidade em uma página é um indicador de que ela foi produzida para ser visitada por pessoas. Um rastreador de busca que envia um leitor de volta ao site funciona como uma indicação de origem, enquanto um bot que lê o conteúdo e entrega a resposta diretamente a outra pessoa, sem direcionar tráfego, não gera esse retorno para o publisher.
A medida cria um complicação relevante para o Google. O Googlebot, robô de busca do Google, realiza tanto a indexação para buscas quanto a coleta de dados para treinamento em uma única operação. Assim, um site que optar por bloquear a categoria Training acabará bloqueando também o Googlebot, perdendo visibilidade nas buscas tradicionais. O diretor-presidente da Cloudflare, Matthew Prince, afirmou que a empresa espera que a mudança incentive operadores de rastreadores com usos mistos a separarem suas funções em bots distintos, movimento que tornaria o sistema mais transparente.
Para desenvolvedores que operam agentes de IA, a recomendação é identificar previamente quais contas na Cloudflare serão classificadas como pertencentes à categoria Agent. A classificação é feita com base no comportamento do bot, e não em uma autodeclaração opcional. Agentes que navegam em tempo real para responder usuários serão enquadrados nessa categoria independentemente da intenção de seus operadores. A expectativa é de cobertura degradada em vez de falha total, já que o bloqueio atinge principalmente páginas com anúncios, deixando o restante da web acessível.
Publishers também devem se preparar. Clientes do plano gratuito serão migrados automaticamente para as novas regras em quinze de setembro, independentemente de sua ação. Quem administra sites deve avaliar se o bloqueio de Training vale o custo de perder tráfego vindo do Googlebot e, consequentemente, visibilidade nos resultados de busca.
Um dos mecanismos que ganha relevância nesse novo cenário é a monetização. O programa Pay Per Crawl da Cloudflare está se transformando em Pay Per Use, no qual empresas pagam publishers quando seu conteúdo é utilizado. A Ceramic.ai paga quando o conteúdo aparece em buscas feitas por inteligência artificial, e a You.com paga quando um agente acessa conteúdo premium. A Cloudflare afirma que mais da metade do tráfego de rastreadores de IA é gasta em recarregamentos de páginas que não sofreram alterações, o que representa desperdício que pode ser precificado.
A fragilidade do novo sistema está na própria taxonomia. As categorias Search, Agent e Training são definidas com base no que as próprias empresas de IA declaram sobre seus bots, e uma companhia interessada em evitar a classificação como Training tem incentivo claro para não se enquadrar nessa categoria. O anúncio não detalha mecanismos para impedir esse tipo de distorção.
O acesso aberto e gratuito à web durante três décadas começa a ser repensado. Construtores de agentes que resolverem suas permissões de acesso antes de quinze de setembro terão tempo para se adaptar. Os que descobrirem a mudança apenas ao receberem uma mensagem de acesso negado terão de reconstruir suas integrações de forma emergencial.
