免费 Robots.txt 生成器 - 阻止 AI 机器人、ChatGPT 和爬虫

Robots.txt 生成器

该工具根据几项设置生成 robots.txt 文件：适用于所有爬虫的默认规则、需要禁止访问的路径列表、可选的抓取延迟和站点地图行，以及分为两组、共 19 个具名 AI 爬虫与抓取工具的勾选列表。每次修改都会立即更新预览，生成的文件可以直接复制或下载为 robots.txt。

文件的组成方式

robots.txt 文件是由上至下读取的 User-agent 与指令配对组成的简单列表。工具始终以 User-agent: * 开头，若默认设置为禁止所有，则紧跟 Disallow: /；若默认设置为允许所有，则为限制路径中填写的每条路径各添加一行 Disallow:（若未填写任何路径，则改为写入 Allow: /）。可选的抓取延迟以秒为单位设定请求间的等待时间，无论选择哪种默认设置都会添加该行，但并非所有爬虫都会遵守。Google 的爬虫完全忽略抓取延迟，而 Bing 等部分爬虫会读取该值。在 AI 机器人防护中勾选某项会添加一个独立的 User-agent 区块，使用该爬虫的真实标识，例如 Applebot-Extended 对应苹果的 AI 训练用途，Diffbot 对应知识图谱的数据提取，各自紧跟专属的 Disallow: /。列表上方的单个开关可一次性勾选或取消勾选所有机器人，若已全部勾选则会全部取消。指向所填地址的 Sitemap: 行会在提供了地址时最后添加。

示例

假设某站点将默认值保留为允许所有，在限制路径中填写 /admin 与 /cart，将抓取延迟设为 13，在 AI 机器人防护中勾选 Applebot-Extended 与 Diffbot，并填写 https://example.cn/sitemap.xml 作为站点地图。输出以 User-agent: * 和 Crawl-delay: 13 开头，禁止 /admin 与 /cart，为 Applebot-Extended 和 Diffbot 分别添加区块，两者都禁止 /，最后以 Sitemap 行结束。

输出示例

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 13
Disallow: /admin
Disallow: /cart

# AI 机器人防护
User-agent: Applebot-Extended
Disallow: /

User-agent: Diffbot
Disallow: /


Sitemap: https://example.cn/sitemap.xml