Gratis Robots.txt Generator - Blokkeer AI-Bots, ChatGPT en Scrapers

Robots.txt generator

Deze tool bouwt een robots.txt-bestand op uit een paar keuzes: een standaardregel voor elke crawler, een lijst met paden om te blokkeren, een optionele crawl-vertraging en sitemap-regel, en een checklist van 19 met naam genoemde AI-crawlers en scrapers, verdeeld in twee groepen. Elke wijziging werkt de voorbeeldweergave meteen bij, en het uiteindelijke bestand kan worden gekopieerd of gedownload als robots.txt.

Hoe het bestand is opgebouwd

Een robots.txt-bestand is een eenvoudige lijst van User-agent- en richtlijnparen, van boven naar beneden gelezen. De tool begint altijd met User-agent: *, gevolgd door Disallow: / als de standaard op alles blokkeren staat, of een eigen Disallow:-regel per pad onder Beperkte Paden als de standaard op alles toestaan staat, met in plaats daarvan Allow: / als er geen paden zijn ingevuld. Een optionele crawl-vertraging stelt een wachttijd in seconden tussen verzoeken in; deze wordt toegevoegd ongeacht welke standaard is gekozen, maar niet elke crawler houdt zich eraan. De crawler van Google negeert de crawl-vertraging volledig, terwijl Bing en verschillende andere crawlers deze wel lezen. Een vakje aanvinken onder AI Bot Bescherming voegt een apart User-agent-blok toe met het echte kenmerk van die crawler, zoals GoogleOther voor de algemene Google-crawler of Web Scraper voor generieke scrapetools, elk gevolgd door hun eigen Disallow: /. Eén schakelaar boven de lijst kan alle bots tegelijk aan- of uitvinken, en vinkt alles uit als alles al is aangevinkt. Een Sitemap:-regel die naar het ingevulde adres wijst, wordt als laatste toegevoegd, als er een is opgegeven.

Voorbeeldberekening

Neem een site die de standaard op Alles Toestaan laat staan, /beheer en /winkelwagen invult onder Beperkte Paden, de crawl-vertraging op 9 zet, GoogleOther en Web Scraper aanvinkt onder AI Bot Bescherming, en https://voorbeeld.nl/sitemap.xml invult als sitemap. De uitvoer opent met User-agent: * en Crawl-delay: 9, blokkeert /beheer en /winkelwagen, voegt een apart blok toe voor GoogleOther en een voor Web Scraper, elk met een eigen /, en sluit af met de Sitemap-regel.

Voorbeelduitvoer

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 9
Disallow: /beheer
Disallow: /winkelwagen

# AI Bot Bescherming
User-agent: GoogleOther
Disallow: /

User-agent: Web Scraper
Disallow: /


Sitemap: https://voorbeeld.nl/sitemap.xml