ఉచిత కన్వర్టర్
robots.txt జనరేటర్
తక్షణమే మీ వెబ్సైట్ కోసం robots.txt ఫైల్ను రూపొందించండి. వినియోగదారు-ఏజెంట్ నియమాలను జోడించండి, పాత్లను అనుమతించండి/నిరాకరణ చేయండి, క్రాల్-ఆలస్యం మరియు సైట్మ్యాప్ URL. ఉచిత, నిజ-సమయ robots.txt జెనరేటర్.
తక్షణమే మీ వెబ్సైట్ కోసం robots.txt ఫైల్ను రూపొందించండి. వినియోగదారు-ఏజెంట్ నియమాలను జోడించండి, పాత్లను అనుమతించండి/నిరాకరణ చేయండి, క్రాల్-ఆలస్యం మరియు సైట్మ్యాప్ URL. ఉచిత, నిజ-సమయ robots.txt జెనరేటర్.
robots.txt అనేది వెబ్సైట్ యొక్క రూట్లో ఉన్న సాదా టెక్స్ట్ ఫైల్, ఇది క్రాలర్లకు వారు ఏ మార్గాలను సందర్శించవచ్చు మరియు ఏ మార్గాలను నివారించాలి అని చెబుతుంది. ఫార్మాట్ 1994 నాటిది మరియు వాస్తవంగా ప్రతి శోధన ఇంజిన్ మరియు బాగా ప్రవర్తించే క్రాలర్ ద్వారా మద్దతు ఉంది. ఫైల్ సలహాదారుగా ఉంది — హానికరమైన క్రాలర్లు దానిని విస్మరిస్తారు — కానీ చట్టబద్ధమైన క్రాలర్లు (Google, Bing, మొదలైనవి) దాని ఆదేశాలను విశ్వసనీయంగా గౌరవిస్తారు.
సాధారణ ఉపయోగాలు: అడ్మిన్ ప్రాంతాల నుండి క్రాలర్లను నిరోధించడం (/wp-admin/, /admin/), నకిలీ కంటెంట్ను ఉత్పత్తి చేసే ముఖ శోధన URL పారామితులను మినహాయించడం, స్టేజింగ్ లేదా డెవలప్మెంట్ పాత్ల ఇండెక్సింగ్ను నిరోధించడం, సైట్మ్యాప్ స్థానాన్ని ప్రకటించడం మరియు ఇతరులను నిరోధించేటప్పుడు నిర్దిష్ట వినియోగదారు ఏజెంట్లను అనుమతించడం. ప్రతి క్రాల్ సెషన్ ప్రారంభంలో ఫైల్ చదవబడుతుంది.
ఈ జెనరేటర్ ఫారమ్ ఇన్పుట్ల నుండి వాక్యనిర్మాణపరంగా సరైన robots.txtని నిర్మిస్తుంది. సాధారణ నమూనాలు (అన్నింటినీ అనుమతించండి, అన్నింటినీ నిరోధించండి, నిర్దిష్ట మార్గాలను నిరోధించండి) టెంప్లేట్లు; వినియోగదారు ఏజెంట్కు అనుకూల నియమాలను జోడించవచ్చు. అవుట్పుట్ మీ సైట్ రూట్ యొక్క /robots.txt వద్ద వెళుతుంది.
చేతితో వ్రాయడం robots.txt లోపం సంభవించే అవకాశం ఉంది. సింటాక్స్ తప్పులు (కేస్ సెన్సిటివిటీ, కచ్చితమైన పాత్ మ్యాచింగ్, నియమాల క్రమం) నిశ్శబ్దంగా తప్పుడు ప్రవర్తనను ఉత్పత్తి చేస్తాయి - మీరు బ్లాక్ చేయాలనుకున్న పాత్లు క్రాల్ చేయబడి ఉంటాయి లేదా మీరు ఇండెక్స్ చేయాలనుకున్న పాత్లు మినహాయించబడతాయి. సరైన సింటాక్స్ని ఉత్పత్తి చేసే జనరేటర్ ఈ ఆపదలను నివారిస్తుంది.
robots.txt ఇతర SEO సాధనాలతో సూక్ష్మ పరస్పర చర్యలను కూడా కలిగి ఉంది. robots.txtలో పాత్ను అనుమతించకపోవడం శోధన ఫలితాల్లో కనిపించకుండా నిరోధించదు (Google దానిని క్రాల్ చేయకుండానే URLని సూచిక చేయవచ్చు); meta noindexకి ముందుగా పేజీని క్రాల్ చేయాలి. ఏ ఉద్దేశం కోసం ఏ సాధనాన్ని ఉపయోగించాలో తెలుసుకోవడం ముఖ్యం; జనరేటర్ మీకు మార్గనిర్దేశం చేయగలదు.
టెంప్లేట్ను ఎంచుకోండి, అనుకూలీకరించండి, అమలు చేయండి.
ఫార్మాట్: వినియోగదారు ఏజెంట్: <name> తర్వాత అనుమతించు/నిరాకరణ ఆదేశాలు. * అన్ని బాట్లతో సరిపోలుతుంది. నిర్దిష్ట పేర్లు (Googlebot, Bingbot) నిర్దిష్ట క్రాలర్లను లక్ష్యంగా చేసుకుంటాయి. బహుళ వినియోగదారు-ఏజెంట్ బ్లాక్లు నిబంధనలను పేర్చగలవు.
అనుమతించవద్దు: <path> ఇవ్వబడిన ఉపసర్గతో ప్రారంభమయ్యే మార్గాలను బ్లాక్ చేస్తుంది. అనుమతించవద్దు: / మొత్తం సైట్ను బ్లాక్ చేస్తుంది. అనుమతించవద్దు: /admin/ /admin/ కింద ఏదైనా బ్లాక్ చేస్తుంది. వెనుకబడిన స్లాష్ విషయాలు; అనుమతించవద్దు: /అడ్మిన్ (స్లాష్ లేదు) కూడా /అడ్మినిస్ట్రేటర్తో సరిపోలుతుంది.
క్రాల్-ఆలస్యం (సెకన్లలో) నెమ్మదిగా క్రాల్ చేయడాన్ని అభ్యర్థిస్తుంది. సైట్మ్యాప్ (సంపూర్ణ URL) మీ సైట్మ్యాప్ స్థానాన్ని ప్రకటిస్తుంది. # వ్యాఖ్య లైన్ను ప్రారంభిస్తుంది.