Gratis Robots.txt Generator - Blokker AI-Bots, ChatGPT og Scrapere

Robots.txt-generator

Dette verktøyet bygger en robots.txt-fil fra noen få innstillinger: en standardregel for alle roboter, en liste over baner som skal blokkeres, en valgfri crawl-delay og sitemap-linje, samt en sjekkliste med 19 navngitte AI-roboter og skrapere fordelt på to grupper. Hver endring oppdaterer forhåndsvisningen umiddelbart, og den ferdige filen kan kopieres eller lastes ned som robots.txt.

Slik er filen bygget opp

En robots.txt-fil er en enkel liste over User-agent- og direktivpar som leses ovenfra og ned. Verktøyet starter alltid med User-agent: *, etterfulgt av Disallow: / når standarden er satt til blokker alle, eller en egen Disallow:-linje for hver bane angitt under Begrensede baner når standarden er satt til tillat alle, med Allow: / skrevet i stedet hvis ingen baner er listet. En valgfri crawl-delay setter en ventetid i sekunder mellom forespørsler; den legges til uansett hvilken standard som er valgt, men ikke alle roboter følger den. Googles robot ignorerer crawl-delay fullstendig, mens Bing og flere andre tar hensyn til den. Å krysse av en boks under Beskyttelse mot AI-boter legger til en egen User-agent-blokk med robotens virkelige token, for eksempel FacebookBot for Metas robot eller ImagesiftBot for bilder til AI-treningsdatasett, hver etterfulgt av sin egen Disallow: /. Én bryter over listen kan krysse av eller fjerne kryss for alle boter samtidig, og fjerner alle kryss hvis alle allerede er valgt. En Sitemap:-linje som peker til den oppgitte adressen legges til sist, hvis en er oppgitt.

Eksempel

Ta et nettsted som beholder standarden på Tillat alle, lister /konto og /handlekurv under Begrensede baner, setter crawl-delay til 22, krysser av FacebookBot og ImagesiftBot under Beskyttelse mot AI-boter, og oppgir https://eksempel.no/sitemap.xml som sitemap. Resultatet åpner med User-agent: * og Crawl-delay: 22, blokkerer /konto og /handlekurv, legger til en egen blokk for FacebookBot og en for ImagesiftBot som begge blokkerer /, og avsluttes med Sitemap-linjen.

Eksempel på resultat

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 22
Disallow: /konto
Disallow: /handlekurv

# Beskyttelse mot AI-boter
User-agent: FacebookBot
Disallow: /

User-agent: ImagesiftBot
Disallow: /


Sitemap: https://eksempel.no/sitemap.xml