產生對 SEO 友善的 robots.txt 檔案。即時封鎖 AI 爬蟲（ChatGPT、Gemini）並控制搜尋引擎存取。
OpenAI 用於訓練 GPT 模型的爬蟲。
當用戶請求 ChatGPT 瀏覽您的特定頁面時使用。
Google 用於訓練 Gemini 和 Vertex AI 的爬蟲 (不影響 SEO)。
用於各種內部用途和研發的通用 Google 爬蟲。
Anthropic 用於訓練 Claude 模型的網絡爬蟲。
Anthropic 的通用爬蟲。
允許 Apple 將內容用於 AI 訓練 (Apple Intelligence)。
Perplexity AI 搜尋引擎的爬蟲。
Meta 的爬蟲，用於語音識別和 LLaMA 訓練。
用於訓練幾乎所有 AI 模型的海量數據集。強烈建議屏蔽。
字節跳動用於 TikTok 和大模型訓練的激進爬蟲。
字節跳動產品的通用爬蟲。
Cohere 企業級 AI 模型的爬蟲。
從網頁中提取數據用於知識圖譜。
為 AI 訓練數據集抓取圖像。
抓取留言板和論壇以獲取訓練數據。
You.com AI 搜尋引擎的爬蟲。
通用的爬蟲工具，常用於未經授權的數據挖掘。
一個流行的 Python 爬蟲框架，常被機器人使用。
將此文件放在域名的根目錄下：your-site.com/robots.txt
# 生成的內容將顯示在這裡...