Robots.txt 生成器

OpenAI 用于训练 GPT 模型的爬虫。

当用户请求 ChatGPT 浏览您的特定页面时使用。

Google 用于训练 Gemini 和 Vertex AI 的爬虫 (不影响 SEO)。

用于各种内部用途和研发的通用 Google 爬虫。

Anthropic 用于训练 Claude 模型的网络爬虫。

Anthropic 的通用爬虫。

允许 Apple 将内容用于 AI 训练 (Apple Intelligence)。

Perplexity AI 搜索引擎的爬虫。

Meta 的爬虫，用于语音识别和 LLaMA 训练。

用于训练几乎所有 AI 模型的海量数据集。强烈建议屏蔽。

字节跳动用于 TikTok 和大模型训练的激进爬虫。

字节跳动产品的通用爬虫。

Cohere 企业级 AI 模型的爬虫。

从网页中提取数据用于知识图谱。

为 AI 训练数据集抓取图像。

抓取留言板和论坛以获取训练数据。

You.com AI 搜索引擎的爬虫。

通用的爬虫工具，常用于未经授权的数据挖掘。

一个流行的 Python 爬虫框架，常被机器人使用。