Resposta rápida
Para impedir o uso do conteúdo no treinamento de IA sem retirar o site da busca tradicional, abra o domínio no painel da Cloudflare, entre em Security Settings e mantenha Search como Allow. Em Training, escolha Disallow AI Training. Decida o tratamento de Agent separadamente e mantenha o Bot Preference Sync ativo para publicar a preferência correspondente no robots.txt.
Não escolha Block em Training se o objetivo é preservar o rastreamento de busca feito por crawlers de uso misto. Desde 15 de setembro de 2026, a Cloudflare aplica Block e Block on pages with ads também a bots como Googlebot, Applebot e Bingbot quando eles atuam como crawlers mistos. Disallow AI Training é a opção criada para separar essas finalidades.
O que mudou nos controles da Cloudflare
A Cloudflare passou a organizar o acesso de bots de IA em três finalidades: Search, para indexação tradicional; Training, para treinamento ou ajuste de modelos; e Agent, para ações iniciadas por uma pessoa. Cada finalidade pode receber uma decisão própria, evitando que uma regra genérica para IA bloqueie também a descoberta do site em buscadores.
Em Training, Allow autoriza o acesso, Disallow AI Training declara a recusa e mantém o acesso de crawlers mistos responsáveis, Block on pages with ads bloqueia conforme a presença de anúncios e Block nega o rastreamento. A opção Disallow publica a preferência de não treinamento pelo Bot Preference Sync e bloqueia crawlers exclusivos de treinamento que não precisam acessar o site para busca.
Como configurar sem perder indexação
A configuração está disponível para clientes de todos os planos. Faça a mudança primeiro em um domínio de baixo risco ou em uma janela de monitoramento, pois uma regra de bloqueio aplicada à finalidade errada pode reduzir o acesso de crawlers que mantêm resultados de busca atualizados.
- Abra o dashboard da Cloudflare e selecione o domínio.
- Entre em Security Settings e localize os controles de AI Crawl Control.
- Em Search, selecione Allow para manter a indexação tradicional.
- Em Training, selecione Disallow AI Training.
- Em Agent, escolha Allow, Block on pages with ads ou Block de acordo com a política do site.
- Confirme que o Bot Preference Sync está ativo e salve a configuração.
- Abra /robots.txt no domínio e monitore logs de crawlers após a mudança.
Como conferir o robots.txt sem sobrescrever regras existentes
O Bot Preference Sync acrescenta ao início do robots.txt os grupos gerados a partir da configuração do painel. As regras Disallow que já existiam são preservadas. Isso permite manter regras editoriais próprias e, ao mesmo tempo, atualizar automaticamente a lista de bots acompanhados pela Cloudflare.
Depois de salvar, abra https://seu-dominio.com/robots.txt em uma janela sem autenticação e confira os grupos de Google-Extended e Applebot-Extended. Verifique também se diretórios que deveriam continuar bloqueados mantiveram suas regras. O arquivo mostra a preferência publicada, mas os logs ou a análise de bots mostram se o crawler realmente acessou o site.
Google-Extended não controla o Google Search
O Google documenta Google-Extended como um token de controle independente, usado para decidir se o conteúdo pode ajudar a treinar futuros modelos Gemini e fundamentar respostas nesses produtos. Ele não possui um user-agent separado para requisições; as regras são lidas quando crawlers do Google acessam o site.
Segundo a documentação oficial, a preferência de Google-Extended não afeta a inclusão nem a classificação no Google Search. Ainda assim, não bloqueie Googlebot em Search se quer preservar indexação. O controle de treinamento e o acesso do crawler de busca são decisões diferentes.
Applebot-Extended preserva a busca da Apple
A Apple informa que Applebot-Extended permite recusar o uso do conteúdo no treinamento de modelos generativos sem retirar as páginas da busca. Applebot-Extended não rastreia diretamente: ele comunica como os dados obtidos pelo Applebot podem ser usados. Suas regras não entram no ranking de busca da Apple.
A diretiva nosnippet resolve outro problema. Ela limita o uso do conteúdo em respostas ou resumos exibidos pela Apple, enquanto Applebot-Extended trata treinamento. Use cada regra para a finalidade documentada e não presuma que uma delas substitui a outra.
A limitação atual do Bing
Em 21 de setembro de 2026, a integração ainda tem uma exceção importante. A Cloudflare informa que o Bing pretende aceitar uma preferência de não treinamento no robots.txt no início de 2027. Até lá, Disallow AI Training não comunica automaticamente essa escolha ao Bing.
A alternativa documentada pela Microsoft é NOARCHIVE. Ela mantém a página nos resultados tradicionais, mas impede o uso para treinamento e também a inclusão ou vinculação do conteúdo em respostas do Bing Chat. Portanto, não aplique a meta tag ou o cabeçalho em todo o site sem avaliar esse efeito editorial adicional.
O que acontece com configurações antigas
A migração do controle antigo Block AI Bots depende da regra anterior. Quando ele estava desativado, a Cloudflare migra Search, Training e Agent para Allow. Quando Block ou Block on pages with ads estava ativo, Search passa a Allow, Training a Disallow AI Training e Agent a Block on pages with ads.
Regras granulares antigas de Training com Block ou Block on pages with ads também migram para Disallow AI Training. Mesmo com essa conversão automática, revise os três grupos no painel: uma política herdada pode não representar a decisão atual sobre agentes ou publicidade.
Limites que a configuração não resolve
robots.txt expressa uma preferência, não uma barreira universal. Crawlers responsáveis seguem a diretiva, mas um coletor que ignore o padrão ainda pode tentar acessar páginas públicas. A camada de aplicação da Cloudflare ajuda a bloquear bots identificados, mas não impede cópia manual, troca de user-agent nem acesso por serviços não classificados.
A opção também não desfaz treinamento já realizado e não equivale a excluir o site de respostas geradas por IA. Busca, treinamento, fundamentação e ações de agentes têm controles distintos. O Bot Preference Sync trabalha por grupos e categorias; exceções muito específicas ainda exigem regras personalizadas e teste cuidadoso.
Próxima ação útil
Este guia foi verificado em 21 de setembro de 2026. Configure Search como Allow e Training como Disallow AI Training, confira o robots.txt publicado e registre a decisão sobre Agent. Depois monitore Googlebot, Applebot e Bingbot nos logs, valide se o site continua acessível e repita a revisão quando o suporte do Bing mudar.
Faça o próximo teste
Fontes consultadas
Os links abaixo servem para conferir conceitos, orientações oficiais e o critério editorial usado neste conteúdo.
- AI Crawl Control for accountable mixed-use AI crawlersCloudflare
- Bot Preference SyncCloudflare
- About ApplebotApple Support
- Google's common crawlersGoogle Search Central
- Options to control usage of content in Bing ChatMicrosoft Bing Blogs
- Cloudflare StatusCloudflare