મફત કન્વર્ટર
robots.txt જનરેટર
તમારી વેબસાઇટ માટે તરત જ robots.txt ફાઇલ જનરેટ કરો. વપરાશકર્તા-એજન્ટ નિયમો ઉમેરો, પાથને મંજૂરી આપો/અસ્વીકાર કરો, ક્રોલ-વિલંબ અને સાઇટમેપ URL. મફત, રીઅલ-ટાઇમ robots.txt જનરેટર.
તમારી વેબસાઇટ માટે તરત જ robots.txt ફાઇલ જનરેટ કરો. વપરાશકર્તા-એજન્ટ નિયમો ઉમેરો, પાથને મંજૂરી આપો/અસ્વીકાર કરો, ક્રોલ-વિલંબ અને સાઇટમેપ URL. મફત, રીઅલ-ટાઇમ robots.txt જનરેટર.
robots.txt એ વેબસાઈટના રુટ પરની એક સાદી ટેક્સ્ટ ફાઇલ છે જે ક્રોલર્સને જણાવે છે કે તેઓ કયા પાથની મુલાકાત લઈ શકે છે અને કયાથી દૂર રહેવું જોઈએ. ફોર્મેટ 1994 નું છે અને વર્ચ્યુઅલ રીતે દરેક સર્ચ એંજીન અને સારી રીતે વર્તે તેવા ક્રાઉલર દ્વારા સપોર્ટેડ છે. ફાઇલ સલાહકારી છે — દૂષિત ક્રોલર્સ તેની અવગણના કરે છે — પરંતુ કાયદેસર ક્રોલર્સ (Google, Bing, વગેરે) તેના નિર્દેશોનું વિશ્વસનીય રીતે સન્માન કરે છે.
સામાન્ય ઉપયોગો: એડમિન વિસ્તારો (/wp-admin/, /admin/) માંથી ક્રોલર્સને અવરોધિત કરવા, ડુપ્લિકેટ સામગ્રી ઉત્પન્ન કરતા પાસાદાર શોધ URL પરિમાણોને બાદ કરતા, સ્ટેજિંગ અથવા વિકાસ પાથના અનુક્રમણિકાને અટકાવવા, સાઇટમેપ સ્થાન જાહેર કરવા અને અન્યને અવરોધિત કરતી વખતે ચોક્કસ વપરાશકર્તા એજન્ટોને મંજૂરી આપવી. દરેક ક્રોલ સત્રની શરૂઆતમાં ફાઇલ વાંચવામાં આવે છે.
આ જનરેટર ફોર્મ ઇનપુટ્સમાંથી સિન્ટેક્ટીલી સાચી robots.txt બનાવે છે. સામાન્ય પેટર્ન (બધાને મંજૂરી આપો, બધાને અવરોધિત કરો, ચોક્કસ પાથને અવરોધિત કરો) નમૂનાઓ છે; કસ્ટમ નિયમો વપરાશકર્તા એજન્ટ દીઠ ઉમેરી શકાય છે. આઉટપુટ તમારી સાઇટ રૂટના /robots.txt પર જાય છે.
હેન્ડ-રાઇટિંગ robots.txt એ ભૂલની સંભાવના છે. વાક્યરચના ભૂલો (કેસ સંવેદનશીલતા, ચોક્કસ પાથ મેચિંગ, નિયમોનો ક્રમ) ચૂપચાપ ખોટી વર્તણૂક પેદા કરે છે — તમે જે પાથને અવરોધિત કરવા માગતા હતા તે ક્રોલ રહે છે, અથવા તમે જે પાથને અનુક્રમિત કરવા માંગતા હતા તે બાકાત રાખવામાં આવે છે. એક જનરેટર જે યોગ્ય વાક્યરચના ઉત્પન્ન કરે છે તે આ મુશ્કેલીઓ ટાળે છે.
robots.txt અન્ય SEO સાધનો સાથે પણ સૂક્ષ્મ ક્રિયાપ્રતિક્રિયાઓ ધરાવે છે. robots.txt માં પાથને નામંજૂર કરવાથી તેને શોધ પરિણામોમાં દેખાવાથી અટકાવતું નથી (Google URL ને ક્રોલ કર્યા વિના અનુક્રમિત કરી શકે છે); meta noindex ને પહેલા પેજ ક્રોલ કરવાની જરૂર છે. કયા હેતુ માટે કયા સાધનનો ઉપયોગ કરવો તે જાણવું મહત્વપૂર્ણ છે; જનરેટર તમને માર્ગદર્શન આપી શકે છે.
એક નમૂનો ચૂંટો, કસ્ટમાઇઝ કરો, જમાવો.
ફોર્મેટ: વપરાશકર્તા-એજન્ટ: <name> પછી પરવાનગી/અસ્વીકાર નિર્દેશો. * બધા બૉટો સાથે મેળ ખાય છે. ચોક્કસ નામો (Googlebot, Bingbot) ચોક્કસ ક્રોલર્સને લક્ષ્ય બનાવે છે. બહુવિધ વપરાશકર્તા-એજન્ટ બ્લોક્સ નિયમોને સ્ટેક કરી શકે છે.
નામંજૂર કરો: <path> આપેલ ઉપસર્ગથી શરૂ થતા પાથને અવરોધિત કરે છે. નામંજૂર કરો: / સમગ્ર સાઇટને અવરોધિત કરે છે. નામંજૂર કરો: /admin/ /admin/ હેઠળ કંઈપણ અવરોધિત કરે છે. પાછળની સ્લેશ બાબતો; નામંજૂર કરો: /એડમિન (કોઈ સ્લેશ નથી) પણ /એડમિનિસ્ટ્રેટર સાથે મેળ ખાય છે.
ક્રોલ-વિલંબ (સેકંડમાં) ધીમી ક્રોલની વિનંતી કરે છે. સાઇટમેપ (સંપૂર્ણ URL) તમારા સાઇટમેપ સ્થાનની ઘોષણા કરે છે. # એક ટિપ્પણી લાઇન શરૂ કરે છે.