Générateur Robots.txt Gratuit - Bloquer Bots IA, ChatGPT et Scrapers

Générateur de robots.txt

Cet outil construit un fichier robots.txt à partir de quelques réglages : une règle par défaut pour tous les robots, une liste de chemins à bloquer, une ligne facultative de délai d'exploration et de sitemap, et une liste de 19 robots et scrapers IA nommés, répartis en deux groupes. Chaque modification met à jour l'aperçu immédiatement, et le fichier final se copie ou se télécharge directement en robots.txt.

Comment le fichier est construit

Un fichier robots.txt est une simple liste de paires User-agent et directive, lue de haut en bas. L'outil commence toujours par User-agent: *, suivi de Disallow: / quand la valeur par défaut est de tout bloquer, ou d'une ligne Disallow: par chemin saisi sous Chemins Restreints quand la valeur par défaut est de tout autoriser, avec Allow: / à la place si aucun chemin n'est listé. Une ligne facultative de délai d'exploration fixe une attente en secondes entre les requêtes ; elle est ajoutée quelle que soit la valeur par défaut choisie, mais tous les robots ne la respectent pas. Le robot de Google ignore totalement le délai d'exploration, alors que Bing et plusieurs autres en tiennent compte. Cocher une case sous Protection Bots IA ajoute un bloc User-agent distinct avec le vrai identifiant de ce robot, comme GPTBot pour le robot d'entraînement d'OpenAI ou Diffbot pour l'extraction de données, chacun suivi de son propre Disallow: /. Un seul interrupteur au-dessus de la liste peut cocher ou décocher tous les robots à la fois, et décoche l'ensemble si toutes les cases sont déjà cochées. Une ligne Sitemap: pointant vers l'adresse saisie est ajoutée en dernier, si une adresse a été renseignée.

Exemple chiffré

Prenons un site qui garde la valeur par défaut sur Tout Autoriser, liste /compte et /panier sous Chemins Restreints, règle le délai d'exploration sur 6, coche FacebookBot et Diffbot sous Protection Bots IA, et saisit https://exemple.fr/sitemap.xml comme sitemap. La sortie commence par User-agent: * et Crawl-delay: 6, bloque /compte et /panier, ajoute un bloc distinct pour FacebookBot et un pour Diffbot, chacun bloquant /, et se termine par la ligne Sitemap.

Exemple de sortie

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 6
Disallow: /compte
Disallow: /panier

# Protection Bots IA
User-agent: FacebookBot
Disallow: /

User-agent: Diffbot
Disallow: /


Sitemap: https://exemple.fr/sitemap.xml