Δημιουργήστε ένα αρχείο robots.txt για τον ιστότοπό σας αμέσως. Προσθέστε κανόνες παράγοντα χρήστη, επιτρέπονται/απαγορεύονται διαδρομές, καθυστέρηση ανίχνευσης και διεύθυνση URL χάρτη ιστότοπου. Δωρεάν, σε πραγματικό χρόνο γεννήτρια robots.txt.
Το robots.txt είναι ένα αρχείο απλού κειμένου στη ρίζα ενός ιστότοπου που λέει στους ανιχνευτές ποιες διαδρομές μπορούν να επισκεφτούν και ποιες πρέπει να αποφύγουν. Η μορφή χρονολογείται από το 1994 και υποστηρίζεται σχεδόν από κάθε μηχανή αναζήτησης και κάθε πρόγραμμα ανίχνευσης με καλή συμπεριφορά. Το αρχείο είναι συμβουλευτικό — οι κακόβουλοι ανιχνευτές το αγνοούν — αλλά οι νόμιμοι ανιχνευτές (Google, Bing κ.λπ.) τηρούν αξιόπιστα τις οδηγίες του.
Συνήθεις χρήσεις: αποκλεισμός προγραμμάτων ανίχνευσης από περιοχές διαχειριστή (/wp-admin/, /admin/), εξαίρεση παραμέτρων διεύθυνσης URL πολύπλευρης αναζήτησης που παράγουν διπλότυπο περιεχόμενο, αποτροπή δημιουργίας ευρετηρίου διαδρομών σταδιακής ή ανάπτυξης, δήλωση τοποθεσίας χάρτη ιστότοπου και επιτρέποντας συγκεκριμένους πράκτορες χρήστη ενώ αποκλείονται άλλοι. Το αρχείο διαβάζεται στην αρχή κάθε περιόδου λειτουργίας ανίχνευσης.
Αυτή η γεννήτρια δημιουργεί ένα συντακτικά σωστό robots.txt από εισόδους φόρμας. Τα κοινά μοτίβα (επιτρέπονται όλα, αποκλεισμός όλων, αποκλεισμός συγκεκριμένων διαδρομών) είναι πρότυπα. μπορούν να προστεθούν προσαρμοσμένοι κανόνες ανά παράγοντα χρήστη. Η έξοδος πηγαίνει στο /robots.txt της ρίζας του ιστότοπού σας.
Το χειρόγραφο robots.txt είναι επιρρεπές σε σφάλματα. Τα συντακτικά λάθη (ευαισθησία πεζών-κεφαλαίων, ακριβής αντιστοίχιση διαδρομής, σειρά κανόνων) παράγουν αθόρυβα εσφαλμένη συμπεριφορά — οι διαδρομές που θέλατε να αποκλείσετε παραμένουν ανιχνευμένες ή οι διαδρομές που θέλατε να καταχωριστούν στο ευρετήριο εξαιρούνται. Μια γεννήτρια που παράγει σωστή σύνταξη αποφεύγει αυτές τις παγίδες.
Το robots.txt έχει επίσης ανεπαίσθητες αλληλεπιδράσεις με άλλα εργαλεία SEO. Η απαγόρευση μιας διαδρομής στο robots.txt δεν εμποδίζει την εμφάνισή της στα αποτελέσματα αναζήτησης (η Google μπορεί να ευρετηριάσει τη διεύθυνση URL χωρίς να την ανιχνεύσει). Το meta noindex απαιτεί πρώτα την ανίχνευση της σελίδας. Γνωρίζοντας ποιο εργαλείο να χρησιμοποιήσετε για ποια πρόθεση έχει σημασία. η γεννήτρια μπορεί να σας καθοδηγήσει.
Επιλέξτε ένα πρότυπο, προσαρμόστε, αναπτύξτε.
Μορφή: User-agent: <όνομα> ακολουθούμενο από οδηγίες Allow/Disallow. * ταιριάζει με όλα τα bots. Συγκεκριμένα ονόματα (Googlebot, Bingbot) στοχεύουν συγκεκριμένα προγράμματα ανίχνευσης. Πολλά μπλοκ πράκτορα χρήστη μπορούν να στοιβάζουν κανόνες.
Disallow: Το <path> αποκλείει διαδρομές που ξεκινούν με το δεδομένο πρόθεμα. Disallow: / αποκλείει ολόκληρο τον ιστότοπο. Disallow: /admin/ μπλοκάρει οτιδήποτε κάτω από το /admin/. Η τελική κάθετο έχει σημασία. Disallow: /admin (χωρίς κάθετο) ταιριάζει επίσης με /administrator.
Η καθυστέρηση ανίχνευσης (σε δευτερόλεπτα) απαιτεί πιο αργή ανίχνευση. Ο χάρτης ιστότοπου (απόλυτη διεύθυνση URL) δηλώνει την τοποθεσία του χάρτη ιστοτόπου σας. # ξεκινά μια γραμμή σχολίων.