ಉಚಿತ ಪರಿವರ್ತಕ
robots.txt ಜನರೇಟರ್
ನಿಮ್ಮ ವೆಬ್ಸೈಟ್ಗಾಗಿ ತಕ್ಷಣವೇ robots.txt ಫೈಲ್ ಅನ್ನು ರಚಿಸಿ. ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ನಿಯಮಗಳನ್ನು ಸೇರಿಸಿ, ಮಾರ್ಗಗಳನ್ನು ಅನುಮತಿಸಿ/ಅನುಮತಿಯಿಲ್ಲ, ಕ್ರಾಲ್-ವಿಳಂಬ ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ URL. ಉಚಿತ, ನೈಜ-ಸಮಯದ robots.txt ಜನರೇಟರ್.
ನಿಮ್ಮ ವೆಬ್ಸೈಟ್ಗಾಗಿ ತಕ್ಷಣವೇ robots.txt ಫೈಲ್ ಅನ್ನು ರಚಿಸಿ. ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ನಿಯಮಗಳನ್ನು ಸೇರಿಸಿ, ಮಾರ್ಗಗಳನ್ನು ಅನುಮತಿಸಿ/ಅನುಮತಿಯಿಲ್ಲ, ಕ್ರಾಲ್-ವಿಳಂಬ ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ URL. ಉಚಿತ, ನೈಜ-ಸಮಯದ robots.txt ಜನರೇಟರ್.
robots.txt ಎಂಬುದು ವೆಬ್ಸೈಟ್ನ ಮೂಲದಲ್ಲಿರುವ ಸರಳ ಪಠ್ಯ ಫೈಲ್ ಆಗಿದ್ದು ಅದು ಕ್ರಾಲರ್ಗಳಿಗೆ ಅವರು ಯಾವ ಮಾರ್ಗಗಳನ್ನು ಭೇಟಿ ಮಾಡಬಹುದು ಮತ್ತು ಯಾವುದನ್ನು ತಪ್ಪಿಸಬೇಕು ಎಂದು ತಿಳಿಸುತ್ತದೆ. ಈ ಸ್ವರೂಪವು 1994 ರ ಹಿಂದಿನದು ಮತ್ತು ವಾಸ್ತವಿಕವಾಗಿ ಪ್ರತಿಯೊಂದು ಸರ್ಚ್ ಇಂಜಿನ್ ಮತ್ತು ಉತ್ತಮ ನಡವಳಿಕೆಯ ಕ್ರಾಲರ್ನಿಂದ ಬೆಂಬಲಿತವಾಗಿದೆ. ಫೈಲ್ ಸಲಹೆಯಾಗಿದೆ - ದುರುದ್ದೇಶಪೂರಿತ ಕ್ರಾಲರ್ಗಳು ಅದನ್ನು ನಿರ್ಲಕ್ಷಿಸುತ್ತಾರೆ - ಆದರೆ ಕಾನೂನುಬದ್ಧ ಕ್ರಾಲರ್ಗಳು (ಗೂಗಲ್, ಬಿಂಗ್, ಇತ್ಯಾದಿ) ಅದರ ನಿರ್ದೇಶನಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಗೌರವಿಸುತ್ತವೆ.
ಸಾಮಾನ್ಯ ಉಪಯೋಗಗಳು: ನಿರ್ವಾಹಕ ಪ್ರದೇಶಗಳಿಂದ ಕ್ರಾಲರ್ಗಳನ್ನು ನಿರ್ಬಂಧಿಸುವುದು (/wp-admin/, /admin/), ನಕಲಿ ವಿಷಯವನ್ನು ಉತ್ಪಾದಿಸುವ ಮುಖದ ಹುಡುಕಾಟ URL ಪ್ಯಾರಾಮೀಟರ್ಗಳನ್ನು ಹೊರತುಪಡಿಸಿ, ಹಂತ ಅಥವಾ ಅಭಿವೃದ್ಧಿ ಮಾರ್ಗಗಳ ಸೂಚಿಕೆಯನ್ನು ತಡೆಯುವುದು, ಸೈಟ್ಮ್ಯಾಪ್ ಸ್ಥಳವನ್ನು ಘೋಷಿಸುವುದು ಮತ್ತು ಇತರರನ್ನು ನಿರ್ಬಂಧಿಸುವಾಗ ನಿರ್ದಿಷ್ಟ ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳನ್ನು ಅನುಮತಿಸುವುದು. ಪ್ರತಿ ಕ್ರಾಲ್ ಸೆಶನ್ನ ಪ್ರಾರಂಭದಲ್ಲಿ ಫೈಲ್ ಅನ್ನು ಓದಲಾಗುತ್ತದೆ.
ಈ ಜನರೇಟರ್ ಫಾರ್ಮ್ ಇನ್ಪುಟ್ಗಳಿಂದ ವಾಕ್ಯರಚನೆಯ ಸರಿಯಾದ robots.txt ಅನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ. ಸಾಮಾನ್ಯ ಮಾದರಿಗಳು (ಎಲ್ಲವನ್ನು ಅನುಮತಿಸಿ, ಎಲ್ಲವನ್ನೂ ನಿರ್ಬಂಧಿಸಿ, ನಿರ್ದಿಷ್ಟ ಮಾರ್ಗಗಳನ್ನು ನಿರ್ಬಂಧಿಸಿ) ಟೆಂಪ್ಲೆಟ್ಗಳಾಗಿವೆ; ಪ್ರತಿ ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗೆ ಕಸ್ಟಮ್ ನಿಯಮಗಳನ್ನು ಸೇರಿಸಬಹುದು. ನಿಮ್ಮ ಸೈಟ್ ರೂಟ್ನ /robots.txt ನಲ್ಲಿ ಔಟ್ಪುಟ್ ಹೋಗುತ್ತದೆ.
ಕೈ ಬರಹ robots.txt ದೋಷ ಪೀಡಿತವಾಗಿದೆ. ಸಿಂಟ್ಯಾಕ್ಸ್ ತಪ್ಪುಗಳು (ಕೇಸ್ ಸೆನ್ಸಿಟಿವಿಟಿ, ನಿಖರವಾದ ಮಾರ್ಗ ಹೊಂದಾಣಿಕೆ, ನಿಯಮಗಳ ಆದೇಶ) ಮೌನವಾಗಿ ತಪ್ಪು ನಡವಳಿಕೆಯನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ - ನೀವು ನಿರ್ಬಂಧಿಸಲು ಉದ್ದೇಶಿಸಿರುವ ಮಾರ್ಗಗಳು ಕ್ರಾಲ್ ಆಗಿರುತ್ತವೆ ಅಥವಾ ನೀವು ಸೂಚ್ಯಂಕವನ್ನು ಬಯಸಿದ ಮಾರ್ಗಗಳನ್ನು ಹೊರಗಿಡಲಾಗುತ್ತದೆ. ಸರಿಯಾದ ಸಿಂಟ್ಯಾಕ್ಸ್ ಅನ್ನು ಉತ್ಪಾದಿಸುವ ಜನರೇಟರ್ ಈ ಮೋಸಗಳನ್ನು ತಪ್ಪಿಸುತ್ತದೆ.
robots.txt ಇತರ SEO ಪರಿಕರಗಳೊಂದಿಗೆ ಸೂಕ್ಷ್ಮ ಸಂವಾದಗಳನ್ನು ಹೊಂದಿದೆ. robots.txt ನಲ್ಲಿ ಮಾರ್ಗವನ್ನು ಅನುಮತಿಸದಿರುವುದು ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುವುದನ್ನು ತಡೆಯುವುದಿಲ್ಲ (Google ಅದನ್ನು ಕ್ರಾಲ್ ಮಾಡದೆಯೇ URL ಅನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಬಹುದು); meta noindex ಗೆ ಪುಟವನ್ನು ಮೊದಲು ಕ್ರಾಲ್ ಮಾಡುವ ಅಗತ್ಯವಿದೆ. ಯಾವ ಉದ್ದೇಶಕ್ಕಾಗಿ ಯಾವ ಸಾಧನವನ್ನು ಬಳಸಬೇಕೆಂದು ತಿಳಿಯುವುದು ಮುಖ್ಯವಾಗಿದೆ; ಜನರೇಟರ್ ನಿಮಗೆ ಮಾರ್ಗದರ್ಶನ ನೀಡಬಹುದು.
ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಆರಿಸಿ, ಕಸ್ಟಮೈಸ್ ಮಾಡಿ, ನಿಯೋಜಿಸಿ.
ಫಾರ್ಮ್ಯಾಟ್: ಬಳಕೆದಾರ-ಏಜೆಂಟ್: <ಹೆಸರು> ನಂತರ ಅನುಮತಿಸು/ಅನುಮತಿಸದ ನಿರ್ದೇಶನಗಳು. * ಎಲ್ಲಾ ಬಾಟ್ಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ. ನಿರ್ದಿಷ್ಟ ಹೆಸರುಗಳು (Googlebot, Bingbot) ನಿರ್ದಿಷ್ಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಗುರಿಯಾಗಿಸುತ್ತದೆ. ಬಹು ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಬ್ಲಾಕ್ಗಳು ನಿಯಮಗಳನ್ನು ಜೋಡಿಸಬಹುದು.
ಅನುಮತಿಸಬೇಡಿ: ಕೊಟ್ಟಿರುವ ಪೂರ್ವಪ್ರತ್ಯಯದಿಂದ ಪ್ರಾರಂಭವಾಗುವ ಮಾರ್ಗಗಳನ್ನು <path> ನಿರ್ಬಂಧಿಸುತ್ತದೆ. ಅನುಮತಿಸಬೇಡಿ: / ಸಂಪೂರ್ಣ ಸೈಟ್ ಅನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ. ಅನುಮತಿಸಬೇಡಿ: /admin/ /admin/ ಅಡಿಯಲ್ಲಿ ಏನನ್ನೂ ನಿರ್ಬಂಧಿಸುತ್ತದೆ. ಟ್ರೇಲಿಂಗ್ ಸ್ಲಾಶ್ ವಿಷಯಗಳು; ಅನುಮತಿಸಬೇಡಿ: / ನಿರ್ವಹಣೆ (ಯಾವುದೇ ಸ್ಲ್ಯಾಷ್) ಸಹ / ನಿರ್ವಾಹಕರಿಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತದೆ.
ಕ್ರಾಲ್-ವಿಳಂಬ (ಸೆಕೆಂಡ್ಗಳಲ್ಲಿ) ನಿಧಾನವಾಗಿ ಕ್ರಾಲ್ ಮಾಡಲು ವಿನಂತಿಸುತ್ತದೆ. ಸೈಟ್ಮ್ಯಾಪ್ (ಸಂಪೂರ್ಣ URL) ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ ಸ್ಥಳವನ್ನು ಘೋಷಿಸುತ್ತದೆ. # ಕಾಮೆಂಟ್ ಲೈನ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸುತ್ತದೆ.