Robots.txt जनरेटर

GPT मॉडल को प्रशिक्षित करने के लिए उपयोग किया जाने वाला OpenAI का क्रॉलर।

तब उपयोग किया जाता है जब कोई उपयोगकर्ता ChatGPT को आपके विशिष्ट पेज को ब्राउज़ करने के लिए कहता है।

Gemini और Vertex AI को प्रशिक्षित करने के लिए Google द्वारा उपयोग किया जाता है (SEO को प्रभावित नहीं करता)।

विभिन्न आंतरिक उपयोगों और R&D के लिए सामान्य Google क्रॉलर।

Claude मॉडल को प्रशिक्षित करने के लिए Anthropic का वेब क्रॉलर।

Anthropic के लिए सामान्य क्रॉलर।

Apple को AI प्रशिक्षण (Apple Intelligence) के लिए सामग्री का उपयोग करने की अनुमति देता है।

Perplexity AI सर्च इंजन के लिए क्रॉलर।

Meta का क्रॉलर, जिसका उपयोग स्पीच रिकग्निशन और LLaMA प्रशिक्षण के लिए किया जाता है।

लगभग सभी AI मॉडलों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला विशाल डेटासेट। ब्लॉक करने की अत्यधिक अनुशंसा की जाती है।

TikTok और LLM प्रशिक्षण के लिए ByteDance का आक्रामक क्रॉलर।

ByteDance उत्पादों के लिए सामान्य क्रॉलर।

Cohere के एंटरप्राइज़ AI मॉडल के लिए क्रॉलर।

नॉलेज ग्राफ़ के लिए वेब पेजों से डेटा निकालता है।

AI प्रशिक्षण डेटासेट के लिए छवियों को क्रॉल करता है।

प्रशिक्षण डेटा के लिए संदेश बोर्डों और फ़ोरम को क्रॉल करता है।

You.com AI सर्च इंजन के लिए क्रॉलर।

सामान्य स्क्रेपर टूल जो अक्सर अनधिकृत डेटा माइनिंग के लिए उपयोग किया जाता है।

स्क्रेपिंग के लिए एक लोकप्रिय पायथन फ्रेमवर्क, जिसका उपयोग अक्सर बॉट्स द्वारा किया जाता है।