Gerador Robots.txt Grátis - Bloquear Bots IA, ChatGPT e Scrapers

Gerador de robots.txt

Esta ferramenta monta um arquivo robots.txt a partir de algumas escolhas: uma regra padrão para todos os rastreadores, uma lista de caminhos a bloquear, uma linha opcional de atraso de rastreamento e sitemap, e uma lista de verificação com 19 rastreadores e scrapers de IA identificados por nome e divididos em dois grupos. Cada alteração atualiza a pré-visualização na hora, e o arquivo final pode ser copiado ou baixado como robots.txt.

Como o arquivo é montado

Um arquivo robots.txt é uma lista simples de pares User-agent e diretiva, lida de cima para baixo. A ferramenta sempre abre com User-agent: *, seguido de Disallow: / quando o padrão é bloquear tudo, ou de uma linha Disallow: para cada caminho digitado em Caminhos Restritos quando o padrão é permitir tudo, com Allow: / no lugar disso se nenhum caminho for listado. Uma linha opcional de Atraso de Rastreamento define uma espera em segundos entre requisições; ela é adicionada independentemente do padrão escolhido, mas nem todo rastreador a respeita. O rastreador do Google ignora completamente o atraso de rastreamento, enquanto o Bing e vários outros o consideram. Marcar uma caixa em Proteção contra Bots de IA adiciona um bloco User-agent separado com o identificador real daquele rastreador, como ChatGPT-User para quando um usuário pede ao ChatGPT que navegue por uma página, ou Cohere-crawl para o rastreador da Cohere, cada um seguido de seu próprio Disallow: /. Um único botão acima da lista pode marcar ou desmarcar todos os rastreadores de uma vez, desmarcando todos se já estiverem todos marcados. Uma linha Sitemap: apontando para o endereço informado é adicionada por último, se algum foi indicado.

Exemplo prático

Considere um site que mantém o padrão em Permitir Tudo, lista /conta e /carrinho em Caminhos Restritos, define o Atraso de Rastreamento como 12, marca ChatGPT-User e Cohere-crawl em Proteção contra Bots de IA, e informa https://exemplo.pt/sitemap.xml como sitemap. A saída abre com User-agent: * e Crawl-delay: 12, bloqueia /conta e /carrinho, adiciona um bloco para ChatGPT-User e outro para Cohere-crawl, cada um bloqueando /, e termina com a linha Sitemap.

Exemplo de saída

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 12
Disallow: /conta
Disallow: /carrinho

# Proteção contra Bots de IA
User-agent: ChatGPT-User
Disallow: /

User-agent: Cohere-crawl
Disallow: /


Sitemap: https://exemplo.pt/sitemap.xml