നിങ്ങളുടെ വെബ്സൈറ്റിനായി തൽക്ഷണം ഒരു robots.txt ഫയൽ സൃഷ്ടിക്കുക. ഉപയോക്തൃ-ഏജൻറ് നിയമങ്ങൾ ചേർക്കുക, പാതകൾ അനുവദിക്കുക/അനുവദിക്കാതിരിക്കുക, ക്രാൾ-ഡിലേ, സൈറ്റ്മാപ്പ് URL എന്നിവ ചേർക്കുക. സൗജന്യ, തത്സമയ robots.txt ജനറേറ്റർ.
robots.txt എന്നത് ഒരു വെബ്സൈറ്റിൻ്റെ റൂട്ടിലുള്ള ഒരു പ്ലെയിൻ ടെക്സ്റ്റ് ഫയലാണ്, അത് ക്രാളറുകൾ ഏതൊക്കെ പാതകളാണ് സന്ദർശിക്കേണ്ടതെന്നും ഏതൊക്കെ ഒഴിവാക്കണമെന്നും പറയുന്നു. ഈ ഫോർമാറ്റ് 1994-ലേതാണ്, ഫലത്തിൽ എല്ലാ സെർച്ച് എഞ്ചിനും നന്നായി പെരുമാറുന്ന ക്രാളറും പിന്തുണയ്ക്കുന്നു. ഫയൽ ഉപദേശമാണ് - ക്ഷുദ്രകരമായ ക്രാളർമാർ അത് അവഗണിക്കുന്നു - എന്നാൽ നിയമാനുസൃതമായ ക്രാളറുകൾ (Google, Bing, മുതലായവ) അതിൻ്റെ നിർദ്ദേശങ്ങൾ വിശ്വസനീയമായി മാനിക്കുന്നു.
പൊതുവായ ഉപയോഗങ്ങൾ: അഡ്മിൻ ഏരിയകളിൽ നിന്ന് ക്രാളറുകൾ തടയൽ (/wp-admin/, /admin/), ഡ്യൂപ്ലിക്കേറ്റ് ഉള്ളടക്കം സൃഷ്ടിക്കുന്ന മുഖമുള്ള തിരയൽ URL പാരാമീറ്ററുകൾ ഒഴികെ, സ്റ്റേജിംഗ് അല്ലെങ്കിൽ ഡെവലപ്മെൻ്റ് പാഥുകളുടെ സൂചിക തടയൽ, സൈറ്റ്മാപ്പ് ലൊക്കേഷൻ പ്രഖ്യാപിക്കൽ, മറ്റുള്ളവരെ തടയുമ്പോൾ നിർദ്ദിഷ്ട ഉപയോക്തൃ ഏജൻ്റുമാരെ അനുവദിക്കുക. ഓരോ ക്രാൾ സെഷൻ്റെയും ആരംഭത്തിൽ ഫയൽ വായിക്കുന്നു.
ഫോം ഇൻപുട്ടുകളിൽ നിന്ന് ഈ ജനറേറ്റർ വാക്യഘടനാപരമായി ശരിയായ robots.txt നിർമ്മിക്കുന്നു. പൊതുവായ പാറ്റേണുകൾ (എല്ലാം അനുവദിക്കുക, എല്ലാം തടയുക, നിർദ്ദിഷ്ട പാതകൾ തടയുക) ടെംപ്ലേറ്റുകളാണ്; ഒരു ഉപയോക്തൃ ഏജൻ്റിന് ഇഷ്ടാനുസൃത നിയമങ്ങൾ ചേർക്കാൻ കഴിയും. ഔട്ട്പുട്ട് നിങ്ങളുടെ സൈറ്റ് റൂട്ടിൻ്റെ /robots.txt-ൽ പോകുന്നു.
കയ്യെഴുത്ത് robots.txt പിശക് സാധ്യതയുള്ളതാണ്. വാക്യഘടനയിലെ പിഴവുകൾ (കേസ് സെൻസിറ്റിവിറ്റി, കൃത്യമായ പാത്ത് പൊരുത്തപ്പെടുത്തൽ, നിയമങ്ങളുടെ ക്രമം) നിശബ്ദമായി തെറ്റായ പെരുമാറ്റം സൃഷ്ടിക്കുന്നു - നിങ്ങൾ തടയാൻ ഉദ്ദേശിച്ച പാതകൾ ക്രോൾ ചെയ്യപ്പെടും, അല്ലെങ്കിൽ സൂചികയിലാക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്ന പാതകൾ ഒഴിവാക്കപ്പെടും. ശരിയായ വാക്യഘടന നിർമ്മിക്കുന്ന ഒരു ജനറേറ്റർ ഈ പിഴവുകൾ ഒഴിവാക്കുന്നു.
robots.txt-ന് മറ്റ് SEO ഉപകരണങ്ങളുമായി സൂക്ഷ്മമായ ഇടപെടലുകളും ഉണ്ട്. robots.txt-ൽ ഒരു പാത്ത് അനുവദിക്കാതിരിക്കുന്നത് തിരയൽ ഫലങ്ങളിൽ ദൃശ്യമാകുന്നത് തടയില്ല (Google അത് ക്രോൾ ചെയ്യാതെ തന്നെ URL സൂചികയിലാക്കിയേക്കാം); meta noindex-ന് ആദ്യം പേജ് ക്രാൾ ചെയ്യേണ്ടതുണ്ട്. ഏത് ഉദ്ദേശ്യത്തിനായി ഏത് ഉപകരണം ഉപയോഗിക്കണമെന്ന് അറിയുന്നത് പ്രധാനമാണ്; ജനറേറ്ററിന് നിങ്ങളെ നയിക്കാൻ കഴിയും.
ഒരു ടെംപ്ലേറ്റ് തിരഞ്ഞെടുക്കുക, ഇഷ്ടാനുസൃതമാക്കുക, വിന്യസിക്കുക.
ഫോർമാറ്റ്: ഉപയോക്തൃ-ഏജൻറ്: <name> നിർദ്ദേശങ്ങൾ അനുവദിക്കുക/അനുവദിക്കാതിരിക്കുക. * എല്ലാ ബോട്ടുകളുമായും പൊരുത്തപ്പെടുന്നു. നിർദ്ദിഷ്ട പേരുകൾ (Googlebot, Bingbot) നിർദ്ദിഷ്ട ക്രാളറുകളെ ലക്ഷ്യമിടുന്നു. ഒന്നിലധികം ഉപയോക്തൃ-ഏജൻ്റ് ബ്ലോക്കുകൾക്ക് നിയമങ്ങൾ അടുക്കിവെക്കാനാകും.
അനുവദിക്കരുത്: തന്നിരിക്കുന്ന പ്രിഫിക്സിൽ ആരംഭിക്കുന്ന പാതകളെ <path> തടയുന്നു. അനുവദിക്കരുത്: / മുഴുവൻ സൈറ്റും തടയുന്നു. അനുവദിക്കാതിരിക്കുക: /admin/ /admin/ എന്നതിന് കീഴിലുള്ള എന്തും തടയുന്നു. ട്രെയിലിംഗ് സ്ലാഷ് കാര്യങ്ങൾ; അനുവദിക്കരുത്: /അഡ്മിൻ (സ്ലാഷ് ഇല്ല) എന്നിവയും /അഡ്മിനിസ്ട്രേറ്ററുമായി പൊരുത്തപ്പെടുന്നു.
ക്രാൾ-ഡിലേ (സെക്കൻഡിൽ) സാവധാനത്തിലുള്ള ക്രാളിംഗ് അഭ്യർത്ഥിക്കുന്നു. സൈറ്റ്മാപ്പ് (സമ്പൂർണ URL) നിങ്ങളുടെ സൈറ്റ്മാപ്പ് സ്ഥാനം പ്രഖ്യാപിക്കുന്നു. # ഒരു കമൻ്റ് ലൈൻ ആരംഭിക്കുന്നു.