Generator Robots.txt Gratis - Blokir Bot AI, ChatGPT & Web Scraper
Buat file robots.txt yang ramah SEO. Blokir bot AI (ChatGPT, Gemini) dan kendalikan akses mesin pencari secara instan.
Akses Umum
Perlindungan Bot AI
Generator robots.txt
Alat ini menyusun file robots.txt dari beberapa pengaturan: aturan default untuk semua perayap, daftar jalur yang diblokir, baris tunda-perayapan dan sitemap opsional, serta daftar centang berisi 19 perayap dan scraper AI bernama yang terbagi dalam dua kelompok. Setiap perubahan langsung memperbarui pratinjau, dan file jadi dapat disalin atau diunduh sebagai robots.txt.
Cara file ini disusun
File robots.txt adalah daftar sederhana pasangan User-agent dan directive yang dibaca dari atas ke bawah. Alat ini selalu dibuka dengan User-agent: *, diikuti Disallow: / jika default diatur ke larang semua, atau satu baris Disallow: untuk setiap jalur yang dimasukkan di Jalur Terbatas jika default diatur ke izinkan semua, dengan Allow: / ditulis sebagai gantinya jika tidak ada jalur yang didaftar. Tunda-perayapan opsional menetapkan waktu tunggu dalam detik antar permintaan; baris ini ditambahkan apa pun default yang dipilih, tetapi tidak semua perayap mematuhinya. Perayap Google sepenuhnya mengabaikan tunda-perayapan, sementara Bing dan beberapa lainnya membacanya. Mencentang kotak di Perlindungan Bot AI menambahkan blok User-agent terpisah dengan token asli perayap tersebut, misalnya ClaudeBot untuk perayap pelatihan Claude atau YouBot untuk mesin pencari You.com, masing-masing diikuti Disallow: / miliknya sendiri. Satu tombol di atas daftar dapat mencentang atau menghapus centang semua bot sekaligus, dan menghapus semuanya jika semua sudah dicentang. Baris Sitemap: yang menunjuk ke alamat yang dimasukkan ditambahkan terakhir, jika ada yang diisi.
Contoh
Ambil situs yang membiarkan default pada Izinkan Semua, mendaftarkan /akun dan /keranjang di Jalur Terbatas, mengatur Tunda-perayapan ke 17, mencentang ClaudeBot dan YouBot di Perlindungan Bot AI, dan mengisi https://contoh.id/sitemap.xml sebagai sitemap. Keluarannya dibuka dengan User-agent: * dan Crawl-delay: 17, memblokir /akun dan /keranjang, menambahkan blok terpisah untuk ClaudeBot dan satu untuk YouBot yang masing-masing memblokir /, dan ditutup dengan baris Sitemap.
Contoh keluaran
# Robots.txt generated by ToolsOfEverything
User-agent: *
Crawl-delay: 17
Disallow: /akun
Disallow: /keranjang
# Perlindungan Bot AI
User-agent: ClaudeBot
Disallow: /
User-agent: YouBot
Disallow: /
Sitemap: https://contoh.id/sitemap.xml