Robots.txt -generaattori

OpenAI:n botti, jota käytetään GPT-mallien kouluttamiseen.

Käytetään, kun käyttäjä pyytää ChatGPT:tä selaamaan tiettyä sivuasi.

Googlen käyttämä botti Geminin ja Vertex AI:n kouluttamiseen (ei vaikuta SEO:oon).

Yleinen Googlen botti sisäiseen käyttöön ja tutkimukseen.

Anthropicin botti Claude-mallien kouluttamiseen.

Anthropicin yleinen botti.

Sallii Applen käyttää sisältöä AI-koulutukseen (Apple Intelligence).

Perplexity AI -hakukoneen botti.

Metan botti, jota käytetään puheentunnistukseen ja LLaMA-koulutukseen.

Massiivinen tietojoukko, jota käytetään lähes KAIKKIEN AI-mallien kouluttamiseen. Erittäin suositeltavaa estää.

ByteDancen aggressiivinen botti TikTokia ja LLM-koulutusta varten.

ByteDance-tuotteiden yleinen botti.

Coheren yritys-AI-mallien botti.

Kerää tietoja verkkosivuilta tietograafeja varten.

Kerää kuvia AI-koulutuksen tietojoukkoihin.

Kerää tietoja keskustelupalstoilta ja foorumeilta koulutusdataa varten.

You.com AI -hakukoneen botti.

Yleinen skraaperityökalu, jota käytetään usein luvattomaan tietojen keräämiseen.

Suosittu Python-pohjainen skraaperikehys, jota botit usein käyttävät.