Darmowy Generator Robots.txt - Zablokuj Boty AI, ChatGPT i Scrapery

Generator robots.txt

To narzędzie tworzy plik robots.txt na podstawie kilku ustawień: domyślnej reguły dla wszystkich robotów, listy ścieżek do zablokowania, opcjonalnego opóźnienia indeksowania i wiersza mapy witryny oraz listy 19 nazwanych robotów i scraperów AI podzielonych na dwie grupy. Każda zmiana natychmiast aktualizuje podgląd, a gotowy plik można skopiować lub pobrać jako robots.txt.

Jak zbudowany jest plik

Plik robots.txt to prosta lista par User-agent i dyrektywy, czytana od góry do dołu. Narzędzie zawsze zaczyna się od User-agent: *, po którym następuje Disallow: /, gdy domyślnie ustawiono zablokuj wszystko, albo osobny wiersz Disallow: dla każdej ścieżki wpisanej w polu Ścieżki zastrzeżone, gdy domyślnie ustawiono zezwól na wszystko, przy czym gdy nie podano żadnej ścieżki, zamiast tego pojawia się Allow: /. Opcjonalne opóźnienie indeksowania ustala czas oczekiwania w sekundach między żądaniami; jest dodawane niezależnie od wybranego ustawienia domyślnego, ale nie każdy robot je respektuje. Robot Google całkowicie ignoruje opóźnienie indeksowania, podczas gdy Bing i kilka innych je uwzględnia. Zaznaczenie pola w sekcji Ochrona przed botami AI dodaje osobny blok User-agent z rzeczywistym identyfikatorem danego robota, na przykład CCBot dla zbioru danych Common Crawl albo FacebookBot dla robota Meta, każdy z własnym Disallow: /. Jeden przełącznik nad listą pozwala zaznaczyć lub odznaczyć wszystkie boty naraz, a gdy wszystkie są już zaznaczone, odznacza je wszystkie. Wiersz Sitemap: wskazujący podany adres jest dodawany na końcu, jeśli został podany.

Przykład

Weźmy witrynę, która pozostawia domyślne ustawienie na zezwól na wszystko, wpisuje /panel i /koszyk w polu Ścieżki zastrzeżone, ustawia opóźnienie indeksowania na 14, zaznacza CCBot i FacebookBot w sekcji Ochrona przed botami AI oraz podaje https://przyklad.pl/mapa-strony.xml jako mapę witryny. Wynik zaczyna się od User-agent: * i Crawl-delay: 14, blokuje /panel i /koszyk, dodaje osobny blok dla CCBot i jeden dla FacebookBot, każdy blokujący /, i kończy się wierszem Sitemap.

Przykładowy wynik

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 14
Disallow: /panel
Disallow: /koszyk

# Ochrona przed botami AI
User-agent: CCBot
Disallow: /

User-agent: FacebookBot
Disallow: /


Sitemap: https://przyklad.pl/mapa-strony.xml