मोफत कनवर्टर
robots.txt जनरेटर
तुमच्या वेबसाइटसाठी त्वरित robots.txt फाइल तयार करा. वापरकर्ता-एजंट नियम जोडा, पथांना अनुमती द्या/नकार द्या, क्रॉल-विलंब आणि साइटमॅप URL. विनामूल्य, रिअल-टाइम robots.txt जनरेटर.
तुमच्या वेबसाइटसाठी त्वरित robots.txt फाइल तयार करा. वापरकर्ता-एजंट नियम जोडा, पथांना अनुमती द्या/नकार द्या, क्रॉल-विलंब आणि साइटमॅप URL. विनामूल्य, रिअल-टाइम robots.txt जनरेटर.
robots.txt ही वेबसाइटच्या रूटवर असलेली एक साधी मजकूर फाइल आहे जी क्रॉलर्सना ते कोणत्या पथांना भेट देऊ शकते आणि कोणते टाळावे हे सांगते. स्वरूप 1994 च्या तारखेचे आहे आणि अक्षरशः प्रत्येक शोध इंजिन आणि चांगले वर्तन असलेल्या क्रॉलरद्वारे समर्थित आहे. फाइल सल्लागार आहे — दुर्भावनापूर्ण क्रॉलर्स त्याकडे दुर्लक्ष करतात — परंतु कायदेशीर क्रॉलर्स (Google, Bing, इ.) तिच्या निर्देशांचा विश्वासार्हतेने आदर करतात.
सामान्य उपयोग: प्रशासकीय क्षेत्रांमधून क्रॉलर्सना अवरोधित करणे (/wp-admin/, /admin/), डुप्लिकेट सामग्री तयार करणारे फेसेटेड शोध URL पॅरामीटर्स वगळणे, स्टेजिंग किंवा विकास पथांचे अनुक्रमणिका प्रतिबंधित करणे, साइटमॅप स्थान घोषित करणे आणि इतरांना अवरोधित करताना विशिष्ट वापरकर्ता एजंटना परवानगी देणे. प्रत्येक क्रॉल सत्राच्या सुरुवातीला फाइल वाचली जाते.
हा जनरेटर फॉर्म इनपुटमधून सिंटॅक्टली योग्य robots.txt तयार करतो. सामान्य नमुने (सर्वांना परवानगी द्या, सर्व अवरोधित करा, विशिष्ट मार्ग अवरोधित करा) हे टेम्पलेट आहेत; सानुकूल नियम प्रति वापरकर्ता एजंट जोडले जाऊ शकतात. आउटपुट तुमच्या साइट रूटच्या /robots.txt वर जाते.
हाताने लिहिणे robots.txt त्रुटी प्रवण आहे. वाक्यरचना चुका (केस सेन्सिटिव्हिटी, अचूक पाथ मॅचिंग, नियमांचे क्रम) शांतपणे चुकीचे वर्तन निर्माण करतात — तुम्हाला ब्लॉक करायचे असलेले पथ क्रॉल केलेले राहतात किंवा तुम्हाला अनुक्रमित करायचे असलेले पथ वगळले जातात. योग्य वाक्यरचना तयार करणारा जनरेटर हे नुकसान टाळतो.
robots.txt चे इतर SEO साधनांसह सूक्ष्म संवाद देखील आहेत. robots.txt मधील पथ नाकारणे त्याला शोध परिणामांमध्ये दिसण्यापासून प्रतिबंधित करत नाही (Google URL क्रॉल न करता अनुक्रमित करू शकते); meta noindex साठी प्रथम पृष्ठ क्रॉल करणे आवश्यक आहे. कोणत्या हेतूसाठी कोणते साधन वापरायचे हे जाणून घेणे; जनरेटर तुम्हाला मार्गदर्शन करू शकतो.
टेम्पलेट निवडा, सानुकूलित करा, उपयोजित करा.
स्वरूप: वापरकर्ता-एजंट: <name> त्यानंतर अनुमती/नकार निर्देश. * सर्व बॉट्सशी जुळते. विशिष्ट नावे (Googlebot, Bingbot) विशिष्ट क्रॉलर्सना लक्ष्य करतात. एकाधिक वापरकर्ता-एजंट ब्लॉक नियम स्टॅक करू शकतात.
परवानगी न द्या: <path> दिलेल्या उपसर्गापासून सुरू होणारे पथ अवरोधित करते. नाकारणे: / संपूर्ण साइट अवरोधित करते. नाकारणे: /admin/ /admin/ अंतर्गत काहीही अवरोधित करते. अनुगामी स्लॅश बाबी; Disallow: /admin (स्लॅश नाही) देखील /प्रशासकाशी जुळते.
क्रॉल-विलंब (सेकंदांमध्ये) हळू क्रॉलिंगची विनंती करते. साइटमॅप (संपूर्ण URL) तुमचे साइटमॅप स्थान घोषित करते. # एक टिप्पणी लाइन सुरू करते.