Kostenloser Robots.txt Generator - KI-Bots, ChatGPT und Scraper Blockieren

Robots.txt erstellen

Dieses Werkzeug erzeugt eine robots.txt-Datei aus wenigen Einstellungen: einer Standardregel für jeden Crawler, einer Liste zu sperrender Pfade, einer optionalen Crawl-Verzögerung und Sitemap-Zeile sowie einer Auswahlliste von 19 namentlich genannten KI-Crawlern und Scrapern, aufgeteilt in zwei Gruppen. Jede Änderung aktualisiert die Vorschau sofort, und die fertige Datei lässt sich kopieren oder als robots.txt herunterladen.

Wie die Datei aufgebaut ist

Eine robots.txt-Datei besteht aus einer einfachen Liste von User-agent- und Direktiven-Paaren, die von oben nach unten gelesen wird. Das Werkzeug beginnt immer mit User-agent: *, gefolgt von Disallow: /, wenn der Standard auf Alles sperren steht, oder einer eigenen Disallow:-Zeile pro Pfad unter Eingeschränkte Pfade, wenn der Standard auf Alles zulassen steht; ohne eingetragene Pfade wird stattdessen Allow: / geschrieben. Eine optionale Crawl-Verzögerung legt eine Wartezeit in Sekunden zwischen Anfragen fest; sie wird unabhängig vom gewählten Standard hinzugefügt, wird aber nicht von jedem Crawler beachtet. Googles Crawler ignoriert die Crawl-Verzögerung vollständig, während Bing und einige andere sie berücksichtigen. Ein Häkchen unter KI-Bot-Schutz fügt einen eigenen User-agent-Block mit dem echten Kennzeichen dieses Crawlers hinzu, etwa GPTBot für OpenAIs Trainings-Crawler oder CCBot für Common Crawl, jeweils gefolgt von seinem eigenen Disallow: /. Ein einzelner Schalter über der Liste markiert oder entmarkiert alle Bots gleichzeitig; sind bereits alle markiert, hebt er die Markierung stattdessen auf. Eine Sitemap:-Zeile mit der eingetragenen Adresse wird zuletzt angehängt, sofern eine angegeben wurde.

Rechenbeispiel

Nehmen wir eine Seite, die den Standard auf Alles zulassen belässt, unter Eingeschränkte Pfade /intern und /warenkorb einträgt, die Crawl-Verzögerung auf 5 setzt, unter KI-Bot-Schutz Google-Extended und Applebot-Extended ankreuzt und als Sitemap https://beispiel.de/sitemap.xml einträgt. Die Ausgabe beginnt mit User-agent: * und Crawl-delay: 5, sperrt /intern und /warenkorb, fügt einen eigenen Block für Google-Extended und einen für Applebot-Extended hinzu, die jeweils / sperren, und schließt mit der Sitemap-Zeile.

Beispielausgabe

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 5
Disallow: /intern
Disallow: /warenkorb

# KI-Bot-Schutz
User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /


Sitemap: https://beispiel.de/sitemap.xml