免費 Robots.txt 產生器 - 阻止 AI 機器人、ChatGPT 和爬蟲

Robots.txt 產生器

此工具會根據幾項設定產生 robots.txt 檔案：適用於所有爬蟲的預設規則、需要封鎖的路徑清單、選填的抓取延遲與網站地圖列，以及分為兩組、共 19 個具名 AI 爬蟲與爬取工具的勾選清單。每次修改都會立即更新預覽，完成的檔案可以直接複製或下載為 robots.txt。

檔案的組成方式

robots.txt 檔案是由上到下讀取的 User-agent 與指令配對組成的簡單清單。工具一律以 User-agent: * 開頭，若預設為禁止所有，則接著出現 Disallow: /；若預設為允許所有，則為限制路徑中填寫的每條路徑各加入一行 Disallow:（若未填寫任何路徑，則改為寫入 Allow: /）。選填的抓取延遲以秒為單位設定請求之間的等待時間，不論選擇哪種預設都會加入這一行，但並非所有爬蟲都會遵守。Google 的爬蟲完全忽略抓取延遲，而 Bing 等部分爬蟲則會讀取這個數值。在 AI 機器人防護中勾選某一項，會加入一個獨立的 User-agent 區塊，使用該爬蟲的真實識別碼，例如 GoogleOther 代表 Google 用於各種內部用途的通用爬蟲，Cohere-crawl 代表 Cohere 企業級 AI 模型的爬蟲，各自接著專屬的 Disallow: /。清單上方的單一開關可一次勾選或取消勾選所有機器人，若已全部勾選則會全部取消。指向所填網址的 Sitemap: 列會在提供網址時最後加入。

範例

假設某網站將預設值保留為允許所有，在限制路徑中填入 /admin 與 /cart，將抓取延遲設為 16，在 AI 機器人防護中勾選 GoogleOther 與 Cohere-crawl，並填入 https://example.tw/sitemap.xml 作為網站地圖。輸出以 User-agent: * 與 Crawl-delay: 16 開頭，封鎖 /admin 與 /cart，為 GoogleOther 與 Cohere-crawl 各自加入區塊，兩者皆封鎖 /，最後以 Sitemap 列結束。

輸出範例

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 16
Disallow: /admin
Disallow: /cart

# AI 機器人防護
User-agent: GoogleOther
Disallow: /

User-agent: Cohere-crawl
Disallow: /


Sitemap: https://example.tw/sitemap.xml