Resposta rápida
Para recusar treinamento de IA sem retirar o site da busca, abra Security > Settings no domínio, filtre por Bot traffic e escolha AI Crawler and Agent access policies. Mantenha Search em Allow, defina Training como Disallow e trate Agent separadamente. Em Personal Agents, revise cada agente que deve continuar acessando o site em nome de uma pessoa.
Personal Agents herdam a decisão geral de Agent. Se você mudar Agent para Block, as decisões individuais também são atualizadas; depois é possível personalizá-las novamente. A Cloudflare recomenda Allow para agentes pessoais, mas a escolha deve refletir o risco e a função do site. Salve, confira o robots.txt e monitore solicitações antes de considerar a política concluída.
O que mudou na política da Cloudflare
O recurso antes chamado Configure AI bot policies agora aparece como AI Crawler and Agent access policies. Ele continua separando Search, Agent e Training, mas a documentação atual adiciona controle individual para os principais Personal Agents. Isso permite bloquear a categoria Agent e abrir uma exceção específica, ou permitir a categoria e restringir somente um agente.
Search cobre indexação e coleta para responder perguntas depois. Agent cobre atividade em tempo real iniciada por uma pessoa, como chat fetch e agentes que usam navegador. Training cobre coleta para treinar ou ajustar modelos, inclusive crawlers com mais de uma finalidade. Uma mesma identidade pode ter comportamentos diferentes, por isso a decisão precisa ser feita por finalidade e não apenas pelo nome da empresa.
Como configurar sem perder busca
A documentação atual informa que domínios novos começam com Search, Agents e Training em Allow. Não presuma que a proteção esteja ativa depois de adicionar o domínio à Cloudflare. Em domínios existentes, leia as três decisões e a lista de Personal Agents antes de salvar, pois uma alteração na política geral de Agent redefine as escolhas individuais herdadas.
- Abra o dashboard da Cloudflare e selecione o domínio.
- Entre em Security > Settings, filtre por Bot traffic e abra AI Crawler and Agent access policies.
- Em Search, selecione Allow para manter a indexação tradicional.
- Em Training, escolha Disallow se a intenção é recusar treino sem bloquear crawlers de uso misto na borda.
- Em Agent, escolha Allow, Block on pages with ads ou Block conforme o papel do site.
- Abra Personal Agents e ajuste somente as exceções necessárias depois de definir Agent.
- Ative Bot Preference Sync quando quiser publicar as diretivas gerenciadas no robots.txt e salve.
- Abra /robots.txt, teste uma página pública e monitore o tráfego de bots depois da mudança.
Como escolher entre Allow, Block e Disallow
Allow não adiciona um bloqueio da política para o comportamento selecionado. Block nega as solicitações correspondentes em toda a zona. Block on pages with ads aplica o bloqueio somente onde a Cloudflare detecta anúncios. Disallow existe apenas em Training e comunica a preferência por robots.txt.
Com Bot Preference Sync ativo, Disallow também bloqueia na borda crawlers exclusivos de treinamento. Crawlers de uso misto, usados tanto para Search quanto para Training, ficam fora desse bloqueio de borda para que a busca possa continuar. Eles ainda recebem a preferência no robots.txt, que é voluntária e pode ser ignorada por um operador não responsável.
Como personalizar agentes pessoais sem perder a herança
A configuração geral de Agent é o ponto de partida. Cada Personal Agent herda essa ação. Ao alterar Agent, a Cloudflare atualiza os agentes individuais; somente depois disso aplique as exceções por agente. Assim você evita acreditar que uma permissão antiga sobreviveu a uma troca da política geral.
A API de Bot Management expõe o objeto ai_agents e ações individuais equivalentes a permitir, bloquear ou bloquear somente em páginas com anúncios. A referência oficial lista campos para agentes da Anthropic, Google e OpenAI, além de outras identidades suportadas. Use os nomes retornados pela sua conta em vez de montar uma lista fixa, pois a seleção de agentes pode evoluir.
- Defina primeiro a ação geral de Agent.
- Abra a lista de Personal Agents e identifique os agentes realmente usados por visitantes ou pela equipe.
- Aplique exceções individuais somente quando houver uma justificativa documentada.
- Salve e reabra a tela para confirmar a ação final de cada agente.
- Repita a revisão sempre que a política geral de Agent for alterada.
Como validar o robots.txt e a aplicação na borda
Quando Bot Preference Sync está ativo e ao menos uma política usa Block, Block on pages with ads ou Disallow para Training, a Cloudflare acrescenta conteúdo gerenciado ao início do robots.txt. A documentação informa que a mudança aparece em poucos segundos e não exige limpeza de cache. Com todas as políticas em Allow, não há diretiva gerenciada para acrescentar.
Abra https://seu-dominio.com/robots.txt sem autenticação e confira se as regras próprias continuam presentes. O arquivo confirma a preferência publicada, não o resultado de todas as requisições. Use AI Crawl Control, Bot Analytics ou logs disponíveis no plano para confirmar se o agente foi identificado, permitido ou bloqueado na borda.
Google, Apple e Bing ainda exigem leitura por finalidade
Google-Extended é um token de controle separado do Googlebot. A documentação do Google informa que a preferência não afeta inclusão nem classificação no Google Search. Applebot-Extended também permite recusar uso para treinamento sem retirar a página da busca da Apple. Não bloqueie os crawlers de Search quando a intenção é somente recusar Training.
Para Bing, a opção NOARCHIVE documentada pela Microsoft mantém a página nos resultados tradicionais, mas também impede sua inclusão ou vinculação em respostas do Bing Chat. Esse efeito é mais amplo do que uma simples preferência de treinamento. Avalie a consequência editorial antes de aplicar a meta tag ou o cabeçalho em todo o site.
Como diagnosticar uma queda de acesso depois da mudança
Se um buscador, monitor ou agente deixar de acessar o site, não reverta tudo de imediato. Registre o horário da alteração, confirme o estado da Cloudflare e compare a ação geral com a exceção individual. Verifique também WAF, Bot Fight Mode, Access e regras personalizadas, pois a política de IA não é a única camada capaz de produzir um bloqueio.
Um agente pessoal pode ser classificado como Verified quando se identifica de forma verificável e mantém comportamento não abusivo, incluindo respeito a robots.txt e taxas razoáveis. Essa classificação reduz ambiguidade, mas não transforma o agente em confiável para qualquer ação. Autorize leitura e escrita de acordo com a função real do site.
- Consulte o Cloudflare Status e registre o horário do primeiro erro.
- Confirme Search, Agent, Training e a ação individual do Personal Agent.
- Teste uma URL pública e anote código HTTP, cabeçalhos e identidade observada.
- Compare eventos do WAF, Bot Analytics e regras personalizadas no mesmo intervalo.
- Altere uma única política por vez e repita o teste antes de ampliar a permissão.
Quando permitir ou bloquear um agente pessoal
Permitir faz sentido quando o site é público, a pessoa espera que seu assistente leia a página e o acesso não produz efeito sensível. Bloquear pode ser adequado em áreas com dados pessoais, conteúdo licenciado, fluxo de pagamento ou ações que exigem contexto humano. Block on pages with ads cria uma regra intermediária quando a política editorial depende da monetização detectada.
A recomendação geral da Cloudflare é Allow para Personal Agents. Isso não substitui autenticação, autorização nem confirmação para ações de escrita. Um agente autorizado a abrir uma página pública não deve, por consequência, poder alterar conta, enviar formulário, comprar, excluir ou publicar sem controles próprios da aplicação.
Limites que a configuração não resolve
robots.txt expressa uma preferência e não é uma barreira universal. A aplicação na borda depende de a Cloudflare reconhecer o tráfego e da ação selecionada. Um coletor pode trocar user-agent, usar uma rede não classificada ou copiar páginas por outro caminho. A configuração também não desfaz treinamento já realizado.
As políticas controlam acesso HTTP identificado, não a autorização dentro da aplicação. Áreas privadas continuam precisando de login, escopo mínimo, proteção contra abuso, confirmação de ações sensíveis e logs sem segredos. Exceções por agente não devem virar uma lista permanente sem revisão.
Próxima ação útil
Este guia foi revisto em 4 de novembro de 2026 com a documentação oficial atualizada em 2 de novembro. Tire uma captura ou exporte a configuração atual, mantenha Search em Allow se o site depende de descoberta, escolha Training conscientemente e revise as exceções de Personal Agents depois de definir Agent.
Em seguida, abra o robots.txt, teste uma página pública com o diagnóstico web e monitore as solicitações por pelo menos um ciclo normal de rastreamento. Documente quem pode alterar a política e repita a revisão quando um novo agente aparecer ou quando a política geral de Agent mudar.
Faça o próximo teste
Fontes consultadas
Os links abaixo servem para conferir conceitos, orientações oficiais e o critério editorial usado neste conteúdo.
- AI Crawler and Agent access policiesCloudflare Docs
- Bot Management APICloudflare API
- robots.txt settingCloudflare Docs
- Verified botsCloudflare Docs
- AI Crawl Control for accountable mixed-use AI crawlersCloudflare
- Bot Preference SyncCloudflare
- About ApplebotApple Support
- Google's common crawlersGoogle Search Central
- Options to control usage of content in Bing ChatMicrosoft Bing Blogs
- Cloudflare StatusCloudflare