இலவச மாற்றி

robots.txt ஜெனரேட்டர்

உங்கள் இணையதளத்திற்கான robots.txt கோப்பை உடனடியாக உருவாக்கவும். பயனர் முகவர் விதிகளைச் சேர்க்கவும், பாதைகளை அனுமதிக்கவும்/அனுமதிக்கவும், வலைவலம் தாமதம் மற்றும் தளவரைபட URL. இலவச, நிகழ்நேர robots.txt ஜெனரேட்டர்.

விதியைச் சேர்க்கவும்

உருவாக்கப்பட்ட robots.txt

இந்த கருவி பற்றி

robots.txt என்பது வலைதளத்தின் மூலத்திலுள்ள ஒரு எளிய உரைக் கோப்பாகும், இது கிராலர்கள் எந்தப் பாதைகளுக்குச் செல்லலாம் மற்றும் எதைத் தவிர்க்க வேண்டும் என்பதைக் கூறுகிறது. இந்த வடிவம் 1994 ஆம் ஆண்டிற்கு முந்தையது மற்றும் கிட்டத்தட்ட ஒவ்வொரு தேடுபொறி மற்றும் நல்ல நடத்தை கொண்ட கிராலர் ஆகியவற்றால் ஆதரிக்கப்படுகிறது. கோப்பு ஆலோசனையானது - தீங்கிழைக்கும் கிராலர்கள் அதை புறக்கணிக்கின்றன - ஆனால் முறையான கிராலர்கள் (கூகிள், பிங் போன்றவை) அதன் உத்தரவுகளை நம்பகத்தன்மையுடன் மதிக்கின்றன.

பொதுவான பயன்பாடுகள்: நிர்வாகப் பகுதிகளிலிருந்து கிராலர்களைத் தடுப்பது (/wp-admin/, /admin/), நகல் உள்ளடக்கத்தை உருவாக்கும் முகத் தேடல் URL அளவுருக்கள் தவிர்த்து, ஸ்டேஜிங் அல்லது மேம்பாட்டுப் பாதைகளை அட்டவணைப்படுத்துவதைத் தடுப்பது, தளவரைபட இருப்பிடத்தை அறிவித்தல் மற்றும் பிறரைத் தடுக்கும் போது குறிப்பிட்ட பயனர் முகவர்களை அனுமதிப்பது. ஒவ்வொரு வலைவல அமர்வின் தொடக்கத்திலும் கோப்பு படிக்கப்படுகிறது.

இந்த ஜெனரேட்டர் படிவ உள்ளீடுகளிலிருந்து தொடரியல் ரீதியாக சரியான robots.txt ஐ உருவாக்குகிறது. பொதுவான வடிவங்கள் (அனைத்தையும் அனுமதி, அனைத்தையும் தடு, குறிப்பிட்ட பாதைகளைத் தடு) வார்ப்புருக்கள்; ஒரு பயனர் முகவருக்கு தனிப்பயன் விதிகள் சேர்க்கப்படலாம். வெளியீடு உங்கள் தளத்தின் ரூட்டின் /robots.txt இல் செல்கிறது.

robots.txt ஜெனரேட்டரை ஏன் பயன்படுத்த வேண்டும்

கையால் எழுதும் robots.txt பிழையுள்ளது. தொடரியல் தவறுகள் (கேஸ் உணர்திறன், சரியான பாதை பொருத்தம், விதிகளை வரிசைப்படுத்துதல்) அமைதியாக தவறான நடத்தையை உருவாக்குகின்றன - நீங்கள் தடுக்க நினைத்த பாதைகள் வலம் வரும், அல்லது நீங்கள் அட்டவணைப்படுத்த விரும்பிய பாதைகள் விலக்கப்படும். சரியான தொடரியலை உருவாக்கும் ஜெனரேட்டர் இந்த ஆபத்துகளைத் தவிர்க்கிறது.

robots.txt மற்ற எஸ்சிஓ கருவிகளுடன் நுட்பமான தொடர்புகளையும் கொண்டுள்ளது. robots.txt இல் பாதையை அனுமதிப்பதைத் தடுப்பது, தேடல் முடிவுகளில் தோன்றுவதைத் தடுக்காது (Google URLஐ வலைவலம் செய்யாமல் அட்டவணைப்படுத்தலாம்); meta noindex க்கு முதலில் பக்கத்தை வலைவலம் செய்ய வேண்டும். எந்த நோக்கத்திற்காக எந்த கருவியைப் பயன்படுத்த வேண்டும் என்பதை அறிவது முக்கியம்; ஜெனரேட்டர் உங்களுக்கு வழிகாட்டும்.

பயன்படுத்துவது எப்படி

ஒரு டெம்ப்ளேட்டைத் தேர்ந்தெடுக்கவும், தனிப்பயனாக்கவும், வரிசைப்படுத்தவும்.

  1. தொடக்க டெம்ப்ளேட்டைத் தேர்ந்தெடுக்கவும்: அனைத்தையும் (இயல்புநிலை வலைவலம்-எல்லா தோரணை), அனைத்தையும் தடு (இன்டெக்ஸ் செய்வதிலிருந்து அனைத்தையும் தடு) அல்லது தனிப்பயன் (நீங்கள் குறிப்பிடும் விதிகளிலிருந்து தொடங்கவும்) அனுமதிக்கவும்.
  2. பயனர் முகவர் விதிகளைச் சேர்க்கவும்: அனைத்து கிராலர்களுக்கும் அல்லது குறிப்பிட்ட பெயரிடப்பட்ட போட்களுக்கும் (Googlebot, Bingbot, GPTBot) குறிப்பிட்ட பாதைகளை அனுமதிக்க வேண்டாம். ஒவ்வொரு பயனர் முகவர் தொகுதிக்கும் அதன் சொந்த அனுமதி மற்றும் அனுமதிக்காத கட்டளைகள் உள்ளன.
  3. தளவரைபட URL ஐச் சேர்க்கவும்: உங்கள் XML தளவரைபடத்தின் முழுமையான URLஐச் சேர்க்கவும். கிராலர்கள் இதைப் பயன்படுத்தி தாங்கள் தவறவிடக்கூடிய URLகளைக் கண்டறியலாம்.
  4. சேமித்து வரிசைப்படுத்தவும்: உருவாக்கப்பட்ட கோப்பைப் பதிவிறக்கவும். உங்கள் டொமைனின் ரூட்டில் பதிவேற்றவும் (எனவே இது https://example.com/robots.txt இல் தோன்றும்). உலாவியில் அந்த URL ஐப் பார்வையிடுவதன் மூலம் சரிபார்க்கவும்.

பொதுவான பயன்பாட்டு வழக்குகள்

தொழில்நுட்ப விவரங்கள்

வடிவம்: பயனர் முகவர்: <பெயர்> தொடர்ந்து அனுமதி/விலக்கு உத்தரவுகள். * அனைத்து போட்களுக்கும் பொருந்தும். குறிப்பிட்ட பெயர்கள் (Googlebot, Bingbot) குறிப்பிட்ட கிராலர்களை குறிவைக்கின்றன. பல பயனர் முகவர் தொகுதிகள் விதிகளை அடுக்கலாம்.

அனுமதிக்காதே: கொடுக்கப்பட்ட முன்னொட்டுடன் தொடங்கும் பாதைகளை <path> தடுக்கிறது. அனுமதிக்காதே: / முழு தளத்தையும் தடுக்கிறது. அனுமதிக்காதே: /admin/ கீழ் எதையும் தடுக்கிறது. டிரைலிங் ஸ்லாஷ் விஷயங்கள்; அனுமதிக்காதே: /நிர்வாகம் (ஸ்லாஷ் இல்லை) / நிர்வாகியும் பொருந்தும்.

வலம்-தாமதம் (வினாடிகளில்) மெதுவான ஊர்வலத்தைக் கோருகிறது. தளவரைபடம் (முழுமையான URL) உங்கள் தளவரைபட இருப்பிடத்தை அறிவிக்கிறது. # ஒரு கருத்து வரியைத் தொடங்குகிறது.

சிறந்த நடைமுறைகள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

உருவாக்கப்பட்ட வெளியீட்டைத் தனிப்பயனாக்க முடியுமா?
ஆம். உங்கள் குறிப்பிட்ட தேவைகளுக்கு ஏற்ப வெளியீட்டை மாற்றுவதற்கு கருவி பல்வேறு தனிப்பயனாக்குதல் விருப்பங்களை வழங்குகிறது. உருவாக்குவதற்கு முன் அமைப்புகளைச் சரிசெய்யவும் அல்லது வெவ்வேறு விருப்பங்களுடன் மீண்டும் உருவாக்கவும்.
உருவாக்கப்பட்ட உள்ளடக்கம் பயன்படுத்த இலவசமா?
ஆம். இந்தக் கருவியின் மூலம் நீங்கள் உருவாக்கும் அனைத்தும் தனிப்பட்ட, கல்வி அல்லது வணிக நோக்கங்களுக்காக எந்த கட்டுப்பாடுகளும் அல்லது பண்புக்கூறு தேவைகளும் இல்லாமல் பயன்படுத்துவதற்கு உங்களுடையது.
இதற்கு கணக்கு தேவையா?
இல்லை. கையொப்பமிடாமல், மின்னஞ்சல் இல்லாமலும், பதிவு இல்லாமலும், கருவி உடனடியாகப் பயன்படுத்தத் தயாராக உள்ளது. பக்கத்தைத் திறந்து உருவாக்கத் தொடங்கவும்.
எனது உள்ளீட்டுத் தரவு தனிப்பட்டதாக வைக்கப்பட்டுள்ளதா?
ஆம். அனைத்து செயலாக்கங்களும் உங்கள் உலாவியில் நடக்கும். உங்கள் உள்ளீட்டுத் தரவு மற்றும் உருவாக்கப்பட்ட வெளியீடு எந்த வெளிப்புற சேவையகத்திற்கும் அனுப்பப்படாது.
ஒரு போட்டை எப்படி தடுப்பது ஆனால் மற்றவற்றை அனுமதிப்பது எப்படி?
தனி பயனர் முகவர் தொகுதிகள். பயனர் முகவர்: BadBot ஐத் தொடர்ந்து அனுமதிக்காது: / BadBot ஐத் தடுக்கிறது. பயனர் முகவர்: * உடன் அனுமதி: / பிறரை அனுமதிக்கிறது.
robots.txt கேஸ்-சென்சிட்டிவா?
பாதை பொருத்தம் கேஸ்-சென்சிட்டிவ். அனுமதிக்காதே: /நிர்வாகம் / நிர்வாகியுடன் பொருந்தவில்லை. உங்கள் URLகளின் உண்மையான கேஸைப் பொருத்தவும்.
Crawl-delay உண்மையில் Googleஐ மெதுவாக்குமா?
Crawl-delayயை Google மதிப்பதில்லை. இது Search Console இல் வலைவல வீத அமைப்புகளை மதிக்கிறது. பிற கிராலர்கள் (பிங், யாண்டெக்ஸ்) கிரால்-தாமதத்தை மதிக்கின்றன.
எனது தரவு பதிவேற்றப்பட்டதா?
இல்லை. உங்கள் உலாவியில் உருவாக்கம் நடக்கிறது.