मुफ्त Robots.txt जनरेटर - AI बॉट्स, ChatGPT और स्क्रैपर्स को ब्लॉक करें
SEO के अनुकूल robots.txt फ़ाइल जनरेट करें। AI बॉट्स (ChatGPT, Gemini) को ब्लॉक करें और तुरंत सर्च इंजन एक्सेस को नियंत्रित करें।
सामान्य एक्सेस (General Access)
AI बॉट सुरक्षा
Robots.txt जनरेटर
यह टूल कुछ सेटिंग्स से robots.txt फ़ाइल बनाता है: हर क्रॉलर के लिए एक डिफ़ॉल्ट नियम, ब्लॉक किए जाने वाले पाथ की सूची, एक वैकल्पिक क्रॉल-डिले और साइटमैप लाइन, और दो समूहों में बंटे 19 नामित AI क्रॉलर व स्क्रेपर की चेकलिस्ट। हर बदलाव प्रीव्यू को तुरंत अपडेट करता है, और तैयार फ़ाइल को कॉपी किया जा सकता है या robots.txt के रूप में डाउनलोड किया जा सकता है।
फ़ाइल कैसे बनती है
robots.txt फ़ाइल ऊपर से नीचे पढ़े जाने वाले User-agent और डायरेक्टिव जोड़ों की एक सीधी सूची होती है। यह टूल हमेशा User-agent: * से शुरू होता है, इसके बाद अगर डिफ़ॉल्ट सभी को ब्लॉक करें पर सेट है तो Disallow: / आता है, और अगर डिफ़ॉल्ट सभी को अनुमति दें पर है तो प्रतिबंधित पाथ में लिखे हर पाथ के लिए अलग Disallow: लाइन जोड़ी जाती है (कोई पाथ न होने पर इसकी जगह Allow: / लिखा जाता है)। वैकल्पिक क्रॉल-डिले सेकंड में एक प्रतीक्षा समय तय करता है; कोई भी डिफ़ॉल्ट चुना गया हो, यह लाइन जोड़ी जाती है, लेकिन हर क्रॉलर इसका पालन नहीं करता। गूगल का क्रॉलर क्रॉल-डिले को पूरी तरह नज़रअंदाज़ करता है, जबकि बिंग सहित कुछ अन्य इसे पढ़ते हैं। AI बॉट सुरक्षा के तहत किसी बॉक्स को चुनने से उस क्रॉलर के असली पहचानकर्ता वाला अलग User-agent ब्लॉक जुड़ जाता है, जैसे OpenAI के ट्रेनिंग क्रॉलर के लिए GPTBot या Common Crawl के लिए CCBot, हर एक के साथ अपनी Disallow: / लाइन। सूची के ऊपर एक ही टॉगल से सभी बॉट एक साथ चुने या हटाए जा सकते हैं, और अगर सभी पहले से चुने हुए हैं तो यह सबको हटा देता है। दर्ज किए गए पते वाली Sitemap: लाइन आख़िर में तभी जुड़ती है जब कोई पता दिया गया हो।
उदाहरण
मान लीजिए एक साइट डिफ़ॉल्ट को सभी को अनुमति दें पर रखती है, प्रतिबंधित पाथ में /admin और /cart लिखती है, क्रॉल-डिले को 18 पर सेट करती है, AI बॉट सुरक्षा में GPTBot और CCBot चुनती है, और साइटमैप के रूप में https://example.in/sitemap.xml दर्ज करती है। आउटपुट User-agent: * और Crawl-delay: 18 से शुरू होता है, /admin और /cart को ब्लॉक करता है, GPTBot और CCBot के लिए अलग-अलग ब्लॉक जोड़ता है जो दोनों / को ब्लॉक करते हैं, और Sitemap लाइन पर समाप्त होता है।
आउटपुट का उदाहरण
# Robots.txt generated by ToolsOfEverything
User-agent: *
Crawl-delay: 18
Disallow: /admin
Disallow: /cart
# AI बॉट सुरक्षा
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
Sitemap: https://example.in/sitemap.xml