Gratis Robots.txt-generator - Blockera AI-Bots, ChatGPT och Skrapor

Robots.txt-generator

Det här verktyget bygger en robots.txt-fil utifrån några få inställningar: en standardregel för alla sökrobotar, en lista med sökvägar att blockera, en valfri crawl-fördröjning och sitemap-rad, samt en checklista med 19 namngivna AI-sökrobotar och skrapor uppdelade i två grupper. Varje ändring uppdaterar förhandsgranskningen direkt, och den färdiga filen kan kopieras eller laddas ner som robots.txt.

Hur filen är uppbyggd

En robots.txt-fil är en enkel lista med User-agent- och direktivpar som läses uppifrån och ner. Verktyget öppnar alltid med User-agent: *, följt av Disallow: / när standarden är att blockera allt, eller en egen Disallow:-rad per sökväg under Begränsade Sökvägar när standarden är att tillåta allt, med Allow: / istället om ingen sökväg är listad. En valfri crawl-fördröjning anger en väntetid i sekunder mellan förfrågningar; den läggs till oavsett vilken standard som valts, men alla sökrobotar följer den inte. Googles sökrobot ignorerar crawl-fördröjningen helt, medan Bing och flera andra tar hänsyn till den. Att kryssa i en ruta under AI-Botskydd lägger till ett separat User-agent-block med sökrobotens verkliga identifierare, till exempel Bytedance för ByteDances allmänna sökrobot eller Diffbot för datautvinning till kunskapsdiagram, vart och ett följt av sitt eget Disallow: /. En enda växlingsknapp ovanför listan kan kryssa i eller ur alla bottar samtidigt, och kryssar ur allt om alla redan är valda. En Sitemap:-rad som pekar på den angivna adressen läggs till sist, om en sådan har angetts.

Räkneexempel

Ta en sajt som behåller standarden på Tillåt Alla, listar /konto och /varukorg under Begränsade Sökvägar, sätter crawl-fördröjningen till 20, kryssar i Bytedance och Diffbot under AI-Botskydd, och anger https://exempel.se/sitemap.xml som sitemap. Utdatan öppnar med User-agent: * och Crawl-delay: 20, blockerar /konto och /varukorg, lägger till ett block för Bytedance och ett för Diffbot som båda blockerar /, och avslutas med Sitemap-raden.

Exempel på utdata

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 20
Disallow: /konto
Disallow: /varukorg

# AI-Botskydd
User-agent: Bytedance
Disallow: /

User-agent: Diffbot
Disallow: /


Sitemap: https://exempel.se/sitemap.xml