Robots.txt Generator

OpenAIs crawler som brukes til å trene GPT-modeller.

Brukes når en bruker ber ChatGPT om å besøke siden din.

Brukes av Google til å trene Gemini og Vertex AI (påvirker ikke SEO).

Generisk Google-crawler for diverse intern bruk og R&D.

Anthropics crawler for å trene Claude-modeller.

Generell crawler for Anthropic.

Tillater Apple å bruke innhold til AI-trening (Apple Intelligence).

Crawler for søkemotoren Perplexity AI.

Metas crawler, brukt til talegjenkjenning og LLaMA-trening.

Massive datasett brukt til å trene nesten ALLE AI-modeller. Det anbefales sterkt å blokkere denne.

ByteDances aggressive crawler for TikTok og LLM-trening.

Generell crawler for ByteDance-produkter.

Crawler for Coheres bedrifts-AI-modeller.

Henter data fra nettsider for kunnskapsgrafer.

Crawler bilder for AI-treningsdatasett.

Crawler oppslagstavler og fora for treningsdata.

Crawler for søkemotoren You.com AI.

Generisk scraper-verktøy som ofte brukes til uautorisert datainnsamling.

Et populært Python-rammeverk for scraping, ofte brukt av boter.