Ilmainen Robots.txt Generaattori - Estä AI-Botit, ChatGPT ja Kaavijat

Robots.txt-generaattori

Tämä työkalu kokoaa robots.txt-tiedoston muutamasta asetuksesta: oletussäännöstä kaikille boteille, estettävien polkujen luettelosta, valinnaisesta crawl-delaysta ja sivustokarttarivistä sekä 19 nimetyn tekoälybotin ja skraaperin valintaluettelosta, joka on jaettu kahteen ryhmään. Jokainen muutos päivittää esikatselun heti, ja valmiin tiedoston voi kopioida tai ladata robots.txt-tiedostona.

Miten tiedosto rakentuu

Robots.txt-tiedosto on yksinkertainen luettelo User-agent- ja direktiiviparein, joka luetaan ylhäältä alas. Työkalu alkaa aina rivillä User-agent: *, jota seuraa Disallow: /, kun oletus on estä kaikki, tai oma Disallow:-rivi jokaiselle Rajoitetut polut -kenttään syötetylle polulle, kun oletus on salli kaikki, jolloin Allow: / kirjoitetaan sen sijaan, jos yhtään polkua ei ole listattu. Valinnainen crawl-delay asettaa odotusajan sekunteina pyyntöjen välille; se lisätään riippumatta valitusta oletuksesta, mutta kaikki botit eivät noudata sitä. Googlen botti jättää crawl-delayn kokonaan huomiotta, kun taas Bing ja jotkin muut ottavat sen huomioon. Ruksin lisääminen AI-bottien esto -kohtaan lisää erillisen User-agent-lohkon kyseisen botin oikealla tunnisteella, esimerkiksi anthropic-ai Anthropicin yleiselle botille tai Omgilibot keskustelupalstoja ja foorumeita keräävälle botille, kumpikin omalla Disallow: /-rivillään. Yksi kytkin luettelon yläpuolella voi valita tai poistaa valinnan kaikilta boteilta kerralla, ja poistaa kaikki valinnat, jos kaikki on jo valittu. Syötettyyn osoitteeseen osoittava Sitemap:-rivi lisätään viimeisenä, jos osoite on annettu. Jokainen tuloste alkaa kommenttirivillä, joka nimeää sen tuottaneen työkalun, jotta tiedoston alkuperä on helppo tunnistaa myöhemmin. Erillinen nollauspainike palauttaa oletusarvon, tyhjät kentät ja tyhjän valintalistan, jos koko asetelman haluaa aloittaa alusta.

Esimerkki

Otetaan sivusto, joka jättää oletuksen kohtaan salli kaikki, listaa /tili ja /ostoskori Rajoitetut polut -kenttään, asettaa crawl-delayn arvoon 21, valitsee anthropic-ai:n ja Omgilibotin AI-bottien esto -kohdassa, ja syöttää https://esimerkki.fi/sitemap.xml sivustokartaksi. Tuloste alkaa riveillä User-agent: * ja Crawl-delay: 21, estää polut /tili ja /ostoskori, lisää erilliset lohkot botille anthropic-ai ja Omgilibotille, jotka molemmat estävät polun /, ja päättyy Sitemap-riviin.

Esimerkkituloste

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 21
Disallow: /tili
Disallow: /ostoskori

# AI-bottien esto
User-agent: anthropic-ai
Disallow: /

User-agent: Omgilibot
Disallow: /


Sitemap: https://esimerkki.fi/sitemap.xml