मुफ्त कनवर्टर
robots.txt जेनरेटर
अपनी वेबसाइट के लिए तुरंत robots.txt फ़ाइल बनाएं। यूज़र-एजेंट नियम, अनुमति/अस्वीकृत पथ, क्रॉल-विलंब और साइटमैप URL जोड़ें। निःशुल्क, रियल-टाइम robots.txt जेनरेटर।
अपनी वेबसाइट के लिए तुरंत robots.txt फ़ाइल बनाएं। यूज़र-एजेंट नियम, अनुमति/अस्वीकृत पथ, क्रॉल-विलंब और साइटमैप URL जोड़ें। निःशुल्क, रियल-टाइम robots.txt जेनरेटर।
robots.txt एक वेबसाइट के मूल में एक सादा पाठ फ़ाइल है जो क्रॉलर्स को बताती है कि वे किन रास्तों पर जा सकते हैं और किन रास्तों से बचना चाहिए। यह प्रारूप 1994 का है और यह लगभग हर खोज इंजन और अच्छे व्यवहार वाले क्रॉलर द्वारा समर्थित है। फ़ाइल सलाहकारी है - दुर्भावनापूर्ण क्रॉलर इसे अनदेखा करते हैं - लेकिन वैध क्रॉलर (Google, बिंग, आदि) इसके निर्देशों का विश्वसनीय रूप से सम्मान करते हैं।
सामान्य उपयोग: व्यवस्थापक क्षेत्रों (/wp-admin/, /admin/) से क्रॉलर को अवरुद्ध करना, डुप्लिकेट सामग्री उत्पन्न करने वाले पहलू खोज यूआरएल पैरामीटर को बाहर करना, स्टेजिंग या विकास पथों की अनुक्रमणिका को रोकना, साइटमैप स्थान घोषित करना, और दूसरों को अवरुद्ध करते समय विशिष्ट उपयोगकर्ता एजेंटों को अनुमति देना। फ़ाइल को प्रत्येक क्रॉल सत्र की शुरुआत में पढ़ा जाता है।
यह जनरेटर फॉर्म इनपुट से वाक्यात्मक रूप से सही robots.txt बनाता है। सामान्य पैटर्न (सभी को अनुमति दें, सभी को ब्लॉक करें, विशिष्ट पथों को ब्लॉक करें) टेम्पलेट हैं; प्रति उपयोगकर्ता एजेंट कस्टम नियम जोड़े जा सकते हैं। आउटपुट आपकी साइट रूट के /robots.txt पर जाता है।
हस्तलेखन robots.txt त्रुटि-प्रवण है। सिंटैक्स गलतियाँ (केस संवेदनशीलता, सटीक पथ मिलान, नियमों का क्रम) चुपचाप गलत व्यवहार उत्पन्न करती हैं - जिन पथों को आप ब्लॉक करना चाहते थे वे क्रॉल किए जाते हैं, या जिन पथों को आप अनुक्रमित करना चाहते थे उन्हें बाहर कर दिया जाता है। एक जनरेटर जो सही सिंटैक्स उत्पन्न करता है वह इन नुकसानों से बचता है।
robots.txt का अन्य SEO टूल के साथ भी सूक्ष्म इंटरैक्शन होता है। robots.txt में किसी पथ को अस्वीकार करने से उसे खोज परिणामों में प्रदर्शित होने से नहीं रोका जा सकता (Google URL को क्रॉल किए बिना अनुक्रमित कर सकता है); मेटा नोइंडेक्स के लिए आवश्यक है कि पृष्ठ को पहले क्रॉल किया जाए। किस इरादे के लिए किस उपकरण का उपयोग करना है यह जानना मायने रखता है; जनरेटर आपका मार्गदर्शन कर सकता है।
एक टेम्प्लेट चुनें, कस्टमाइज़ करें, तैनात करें।
प्रारूप: उपयोगकर्ता-एजेंट: <नाम> के बाद अनुमति/अस्वीकार निर्देश। * सभी बॉट्स से मेल खाता है। विशिष्ट नाम (Googlebot, Bingbot) विशिष्ट क्रॉलर को लक्षित करते हैं। एकाधिक उपयोगकर्ता-एजेंट ब्लॉक नियमों को ढेर कर सकते हैं।
अस्वीकृत: <पथ> दिए गए उपसर्ग से शुरू होने वाले पथों को अवरुद्ध करता है। अस्वीकृत: / संपूर्ण साइट को ब्लॉक कर देता है। अस्वीकृत: /admin/ /admin/ के अंतर्गत किसी भी चीज़ को ब्लॉक करता है। ट्रेलिंग स्लैश मायने रखता है; अस्वीकृत: /एडमिन (कोई स्लैश नहीं) /एडमिनिस्ट्रेटर से भी मेल खाता है।
क्रॉल-विलंब (सेकंड में) धीमी क्रॉलिंग का अनुरोध करता है। साइटमैप (पूर्ण URL) आपके साइटमैप स्थान की घोषणा करता है। # एक टिप्पणी पंक्ति प्रारंभ करता है.