Robots.txt Generator

OpenAI's crawler, der bruges til at træne GPT-modeller.

Bruges når en bruger beder ChatGPT om at gennemse din side.

Bruges af Google til at træne Gemini og Vertex AI (påvirker ikke SEO).

Generisk Google-crawler til diverse internt brug og R&D.

Anthropic's crawler til at træne Claude-modeller.

Generel crawler til Anthropic.

Tillader Apple at bruge indhold til AI-træning (Apple Intelligence).

Crawler til Perplexity AI søgemaskinen.

Meta's crawler, brugt til stemmegenkendelse og LLaMA-træning.

Massive datasæt brugt til at træne næsten ALLE AI-modeller. Det anbefales stærkt at blokere denne.

ByteDance's aggressive crawler til TikTok og LLM-træning.

Generel crawler til ByteDance produkter.

Crawler til Cohere's enterprise AI-modeller.

Uddrager data fra websider til vidensgrafer.

Crawler billeder til AI-træningsdatasæt.

Crawler opslagstavler og fora for træningsdata.

Crawler til You.com AI søgemaskinen.

Generisk scraper-værktøj, der ofte bruges til uautoriseret dataindsamling.

Et populært Python-framework til scraping, ofte brugt af bots.