Ücretsiz Robots.txt Oluşturucu - AI Botları, ChatGPT ve Scraperları Engelle

Robots.txt oluşturma

Bu araç birkaç ayardan bir robots.txt dosyası oluşturur: tüm tarayıcılar için geçerli bir varsayılan kural, engellenecek yolların listesi, isteğe bağlı bir tarama gecikmesi ve site haritası satırı, ayrıca iki gruba ayrılmış 19 adet isimli yapay zeka tarayıcısı ve kazıyıcı için bir onay listesi. Her değişiklik önizlemeyi anında günceller, hazır dosya kopyalanabilir veya robots.txt olarak indirilebilir.

Dosya nasıl oluşuyor

Bir robots.txt dosyası, yukarıdan aşağıya okunan sade User-agent ve direktif çiftlerinden oluşur. Araç her zaman User-agent: * satırıyla başlar; varsayılan hepsini engelle olarak seçildiyse Disallow: / satırı, varsayılan izin ver olarak kaldıysa Kısıtlı Yollar alanına girilen her yol için ayrı bir Disallow: satırı eklenir, hiç yol girilmediyse bunun yerine Allow: / yazılır. İsteğe bağlı bir Crawl-delay satırı istekler arasında saniye cinsinden bir bekleme süresi belirler; bu satır hangi varsayılan seçilirse seçilsin eklenir, ancak her tarayıcı buna uymaz. Google'ın tarayıcısı Crawl-delay'i tamamen yok sayarken Bing ve birkaç başka tarayıcı bu değeri okur. Yapay Zeka Bot Koruması altında bir kutu işaretlemek, o tarayıcının gerçek kimliğini kullanan ayrı bir User-agent bloğu ekler; örneğin OpenAI'nin eğitim tarayıcısı için GPTBot ya da Common Crawl için CCBot, her biri kendi Disallow: / satırıyla birlikte gelir. Listenin üstündeki tek bir düğme, tüm botları aynı anda işaretleyebilir veya işaretini kaldırabilir; zaten hepsi işaretliyse düğme hepsinin işaretini kaldırır. Girilen adrese işaret eden bir Sitemap: satırı, girildiyse en sona eklenir.

Örnek kullanım

Varsayılanı İzin Ver olarak bırakan, Kısıtlı Yollar altına /yonetim ve /sepet yollarını yazan, Crawl-delay değerini 8 yapan, Yapay Zeka Bot Koruması altında ClaudeBot ve Bytespider kutularını işaretleyen ve site haritası olarak https://ornek.com.tr/site-haritasi.xml giren bir siteyi ele alalım. Çıktı User-agent: * ve Crawl-delay: 8 ile açılır, /yonetim ve /sepet yollarını engeller, ClaudeBot için ayrı bir blok ve Bytespider için ayrı bir blok ekler, her biri kendi / yolunu engeller, ve Sitemap satırıyla kapanır.

Örnek çıktı

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 8
Disallow: /yonetim
Disallow: /sepet

# Yapay Zeka (AI) Bot Koruması
User-agent: ClaudeBot
Disallow: /

User-agent: Bytespider
Disallow: /


Sitemap: https://ornek.com.tr/site-haritasi.xml