मुफ्त Robots.txt जनरेटर - AI बॉट्स, ChatGPT और स्क्रैपर्स को ब्लॉक करें

SEO के अनुकूल robots.txt फ़ाइल जनरेट करें। AI बॉट्स (ChatGPT, Gemini) को ब्लॉक करें और तुरंत सर्च इंजन एक्सेस को नियंत्रित करें।

Robots.txt जनरेटर

समस्या की रिपोर्ट करें

क्या आपको मुफ्त Robots.txt जनरेटर - AI बॉट्स, ChatGPT और स्क्रैपर्स को ब्लॉक करें के लिए कोई बग मिला या कोई सुझाव है? हमें बताएं!

ईमेल पता

संदेश

ईमेल पता

संदेश

क्रॉल-डिली (Crawl-delay)

साइटमैप URL

प्रतिबंधित पाथ (Restricted Paths)

ChatGPT (GPTBot) GPT मॉडल को प्रशिक्षित करने के लिए उपयोग किया जाने वाला OpenAI का क्रॉलर।

ChatGPT User तब उपयोग किया जाता है जब कोई उपयोगकर्ता ChatGPT को आपके विशिष्ट पेज को ब्राउज़ करने के लिए कहता है।

Google Gemini (Google-Extended) Gemini और Vertex AI को प्रशिक्षित करने के लिए Google द्वारा उपयोग किया जाता है (SEO को प्रभावित नहीं करता)।

Google Other विभिन्न आंतरिक उपयोगों और R&D के लिए सामान्य Google क्रॉलर।

Claude (Anthropic) Claude मॉडल को प्रशिक्षित करने के लिए Anthropic का वेब क्रॉलर।

Anthropic AI Anthropic के लिए सामान्य क्रॉलर।

Apple Intelligence Apple को AI प्रशिक्षण (Apple Intelligence) के लिए सामग्री का उपयोग करने की अनुमति देता है।

Perplexity AI Perplexity AI सर्च इंजन के लिए क्रॉलर।

Meta (FacebookBot) Meta का क्रॉलर, जिसका उपयोग स्पीच रिकग्निशन और LLaMA प्रशिक्षण के लिए किया जाता है।

Common Crawl (CCBot) लगभग सभी AI मॉडलों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला विशाल डेटासेट। ब्लॉक करने की अत्यधिक अनुशंसा की जाती है।

TikTok (Bytespider) TikTok और LLM प्रशिक्षण के लिए ByteDance का आक्रामक क्रॉलर।

ByteDance ByteDance उत्पादों के लिए सामान्य क्रॉलर।

Cohere AI Cohere के एंटरप्राइज़ AI मॉडल के लिए क्रॉलर।

Diffbot नॉलेज ग्राफ़ के लिए वेब पेजों से डेटा निकालता है।

Imagesift AI प्रशिक्षण डेटासेट के लिए छवियों को क्रॉल करता है।

Omgili प्रशिक्षण डेटा के लिए संदेश बोर्डों और फ़ोरम को क्रॉल करता है।

You.com You.com AI सर्च इंजन के लिए क्रॉलर।

Web Scraper सामान्य स्क्रेपर टूल जो अक्सर अनधिकृत डेटा माइनिंग के लिए उपयोग किया जाता है।

Scrapy स्क्रेपिंग के लिए एक लोकप्रिय पायथन फ्रेमवर्क, जिसका उपयोग अक्सर बॉट्स द्वारा किया जाता है।

पूर्वावलोकन

# Robots.txt generated by ToolsOfEverything
User-agent: *
Allow: /