Бесплатный Генератор Robots.txt - Блокировка AI-Ботов, ChatGPT и Скраперов
Создайте SEO-оптимизированный файл robots.txt. Блокируйте ИИ-ботов (ChatGPT, Gemini) и мгновенно управляйте доступом поисковых систем.
Общий доступ
Защита от ИИ-ботов
Генератор Robots.txt
Этот инструмент собирает файл robots.txt из нескольких настроек: правила по умолчанию для всех краулеров, списка путей для запрета, необязательной задержки обхода и строки Sitemap, а также чек-листа из 19 именованных ИИ-краулеров и скреперов, разделённых на две группы. Каждое изменение сразу обновляет предпросмотр, а готовый файл можно скопировать или скачать как robots.txt.
Как устроен файл
Файл robots.txt представляет собой простой список пар User-agent и директив, читаемый сверху вниз. Инструмент всегда начинается с User-agent: *, за которым следует Disallow: /, если по умолчанию выбрано запретить всем, или отдельная строка Disallow: для каждого пути, указанного в разделе Запрещённые пути, если по умолчанию выбрано разрешить всем (если пути не указаны, вместо этого пишется Allow: /). Необязательная задержка обхода задаёт время ожидания в секундах между запросами; она добавляется независимо от выбранного значения по умолчанию, но её соблюдают не все краулеры. Краулер Google полностью игнорирует задержку обхода, тогда как Bing и некоторые другие её учитывают. Отметка галочкой в разделе Защита от ИИ-ботов добавляет отдельный блок User-agent с реальным идентификатором этого краулера, например PerplexityBot для поисковой системы Perplexity AI или Bytespider для краулера ByteDance, каждый со своей строкой Disallow: /. Один переключатель над списком позволяет отметить или снять отметку со всех ботов сразу, а если все уже отмечены, снимает отметки со всех. Строка Sitemap: с указанным адресом добавляется последней, если адрес был введён.
Пример
Возьмём сайт, который оставляет значение по умолчанию Разрешить всем, указывает /admin и /profile в разделе Запрещённые пути, задаёт задержку обхода 11, отмечает PerplexityBot и Bytespider в разделе Защита от ИИ-ботов и вводит https://example.ru/sitemap.xml как Sitemap. Результат начинается с User-agent: * и Crawl-delay: 11, запрещает /admin и /profile, добавляет отдельный блок для PerplexityBot и один для Bytespider, каждый запрещает /, и завершается строкой Sitemap.
Пример результата
# Robots.txt generated by ToolsOfEverything
User-agent: *
Crawl-delay: 11
Disallow: /admin
Disallow: /profile
# Защита от ИИ-ботов
User-agent: PerplexityBot
Disallow: /
User-agent: Bytespider
Disallow: /
Sitemap: https://example.ru/sitemap.xml