Generatore Robots.txt Gratuito - Blocca Bot IA, ChatGPT e Scraper

Generatore di robots.txt

Questo strumento crea un file robots.txt a partire da poche scelte: una regola predefinita per ogni crawler, un elenco di percorsi da bloccare, una riga facoltativa di ritardo di scansione e sitemap, e un elenco di 19 crawler e scraper IA con nome, divisi in due gruppi. Ogni modifica aggiorna subito l'anteprima, e il file finale si può copiare o scaricare come robots.txt.

Come è composto il file

Un file robots.txt è un semplice elenco di coppie User-agent e direttiva, letto dall'alto verso il basso. Lo strumento apre sempre con User-agent: *, seguito da Disallow: / quando il valore predefinito è bloccare tutto, oppure da una riga Disallow: per ogni percorso inserito in Percorsi Limitati quando il valore predefinito è consentire tutto, con Allow: / al posto di questo se non è elencato alcun percorso. Una riga facoltativa di Ritardo Crawl imposta un'attesa in secondi tra le richieste; viene aggiunta indipendentemente dal valore predefinito scelto, ma non tutti i crawler la rispettano. Il crawler di Google ignora completamente il ritardo di scansione, mentre Bing e diversi altri lo considerano. Spuntare una casella sotto Protezione Bot AI aggiunge un blocco User-agent separato con l'identificativo reale di quel crawler, come anthropic-ai per il crawler generale di Anthropic o Scrapy per il framework di scraping in Python, ciascuno seguito dal proprio Disallow: /. Un unico interruttore sopra l'elenco può spuntare o togliere la spunta a tutti i bot in una volta, togliendola del tutto se sono già tutti selezionati. Una riga Sitemap: che punta all'indirizzo inserito viene aggiunta per ultima, se ne è stato indicato uno.

Esempio pratico

Prendiamo un sito che lascia il valore predefinito su Consenti Tutto, elenca /account e /carrello in Percorsi Limitati, imposta il Ritardo Crawl a 7, spunta anthropic-ai e Scrapy in Protezione Bot AI, e inserisce https://esempio.it/sitemap.xml come sitemap. L'output apre con User-agent: * e Crawl-delay: 7, blocca /account e /carrello, aggiunge un blocco per anthropic-ai e uno per Scrapy, ciascuno bloccando /, e chiude con la riga Sitemap.

Esempio di output

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 7
Disallow: /account
Disallow: /carrello

# Protezione Bot AI
User-agent: anthropic-ai
Disallow: /

User-agent: Scrapy
Disallow: /


Sitemap: https://esempio.it/sitemap.xml