Генератор Robots.txt

Краулер OpenAI, используемый для обучения моделей GPT.

Используется, когда пользователь просит ChatGPT просмотреть вашу страницу.

Используется Google для обучения Gemini и Vertex AI (не влияет на SEO).

Общий краулер Google для внутренних нужд и R&D.

Краулер Anthropic для обучения моделей Claude.

Общий краулер Anthropic.

Позволяет Apple использовать контент для обучения ИИ (Apple Intelligence).

Краулер поисковой системы Perplexity AI.

Краулер Meta, используется для распознавания речи и обучения LLaMA.

Массивный набор данных, используемый для обучения почти ВСЕХ моделей ИИ. Настоятельно рекомендуется заблокировать.

Агрессивный краулер ByteDance для TikTok и обучения LLM.

Общий краулер продуктов ByteDance.

Краулер для корпоративных моделей ИИ Cohere.

Извлекает данные с веб-страниц для графов знаний.

Обходит изображения для наборов данных обучения ИИ.

Обходит доски объявлений и форумы для обучающих данных.

Краулер поисковой системы You.com ИИ.

Универсальный инструмент для скрепинга, часто используемый для несанкционированного сбора данных.

Популярный фреймворк Python для скрепинга, часто используемый ботами.