Gratis Robots.txt Generator - Bloker AI-Bots, ChatGPT og Scrapere
Generer en SEO-venlig robots.txt-fil. Bloker AI-bots (ChatGPT, Gemini) og kontroller søgemaskiners adgang øjeblikkeligt.
Generel Adgang
AI Bot Beskyttelse
Robots.txt generator
Dette værktøj bygger en robots.txt-fil ud fra få indstillinger: en standardregel for alle crawlere, en liste over stier der skal blokeres, en valgfri crawl-delay og sitemap-linje samt en tjekliste med 19 navngivne AI-crawlere og scrapere fordelt på to grupper. Hver ændring opdaterer forhåndsvisningen med det samme, og den færdige fil kan kopieres eller downloades som robots.txt.
Sådan er filen opbygget
En robots.txt-fil er en enkel liste af User-agent- og direktivpar, der læses oppefra og ned. Værktøjet starter altid med User-agent: *, efterfulgt af Disallow: / når standarden er sat til afvis alle, eller en separat Disallow:-linje for hver sti angivet under Begrænsede Stier når standarden er sat til tillad alle, hvor Allow: / skrives i stedet hvis ingen stier er angivet. En valgfri crawl-delay fastsætter en ventetid i sekunder mellem forespørgsler; den tilføjes uanset hvilken standard der er valgt, men ikke alle crawlere respekterer den. Googles crawler ignorerer crawl-delay fuldstændigt, mens Bing og flere andre tager hensyn til den. At sætte kryds i en boks under AI Bot Beskyttelse tilføjer en separat User-agent-blok med den pågældende crawlers rigtige token, for eksempel Google-Extended for Googles træning af Gemini eller Scrapy for Python-scraping-frameworket, hver efterfulgt af sin egen Disallow: /. Én kontakt over listen kan afkrydse eller fjerne krydset ved alle bots på én gang, og fjerner alle kryds hvis alle allerede er markeret. En Sitemap:-linje, der peger på den indtastede adresse, tilføjes til sidst, hvis en er angivet.
Eksempel
Tag et site, der beholder standarden på Tillad alle, angiver /konto og /kurv under Begrænsede Stier, sætter crawl-delay til 19, sætter kryds ved Google-Extended og Scrapy under AI Bot Beskyttelse, og indtaster https://eksempel.dk/sitemap.xml som sitemap. Outputtet åbner med User-agent: * og Crawl-delay: 19, blokerer /konto og /kurv, tilføjer en separat blok for Google-Extended og en for Scrapy, som begge blokerer /, og slutter med Sitemap-linjen.
Eksempel på output
# Robots.txt generated by ToolsOfEverything
User-agent: *
Crawl-delay: 19
Disallow: /konto
Disallow: /kurv
# AI Bot Beskyttelse
User-agent: Google-Extended
Disallow: /
User-agent: Scrapy
Disallow: /
Sitemap: https://eksempel.dk/sitemap.xml