無料 Robots.txt ジェネレーター - AI ボット、ChatGPT、スクレイパーをブロック

Robots.txtジェネレーター

このツールは、すべてのクローラーに適用するデフォルトルール、ブロックするパスの一覧、任意のクロール遅延とサイトマップ、そして2つのグループに分かれた19種類のAIクローラー・スクレイパーのチェックリストからrobots.txtを組み立てます。変更するたびにプレビューが即座に更新され、完成したファイルはコピーするかrobots.txtとしてダウンロードできます。

ファイルの仕組み

robots.txtはUser-agentとディレクティブの組を上から順に並べたものです。ツールは常にUser-agent: *から始まり、デフォルトが「すべて拒否」ならDisallow: /が続き、「すべて許可」なら「制限されたパス」に入力した各パスごとにDisallow:行が追加されます（パスが空ならAllow: /になります）。任意のクロール遅延は秒単位の待機時間を指定し、どちらのデフォルトでも追加されますが、すべてのクローラーが従うわけではありません。Googleのクローラーはクロール遅延を完全に無視する一方、Bingなど一部はこれを読み取ります。「AIボット保護」でチェックを入れると、そのクローラーの実際の識別子を使った独立したUser-agentブロックが追加されます。例えばOpenAIの学習用クローラーにはGPTBot、画像収集用にはImagesiftBotが使われ、それぞれ専用のDisallow: /が続きます。一覧上部の一括切り替えボタンで全ボットを同時にオン・オフでき、すでに全選択済みなら全解除になります。入力されたサイトマップへのSitemap:行は最後に追加されます。

使用例

デフォルトを「すべて許可」のまま、「制限されたパス」に/adminと/cartを入力し、クロール遅延を3に設定、「AIボット保護」でGPTBotとImagesiftBotにチェックを入れ、サイトマップにhttps://example.jp/sitemap.xmlを指定した場合を考えます。出力はUser-agent: *とCrawl-delay: 3で始まり、/adminと/cartを拒否し、GPTBot用とImagesiftBot用の独立したブロックがそれぞれ/を拒否し、最後にSitemap行で終わります。

出力例

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 3
Disallow: /admin
Disallow: /cart

# AIボット保護
User-agent: GPTBot
Disallow: /

User-agent: ImagesiftBot
Disallow: /


Sitemap: https://example.jp/sitemap.xml