Genereu un fitxer robots.txt per al vostre lloc web a l'instant. Afegiu regles d'agent d'usuari, permeteu/no permeteu els camins, el retard del rastreig i l'URL del mapa del lloc. Generador de robots.txt gratuït en temps real.
robots.txt és un fitxer de text senzill a l'arrel d'un lloc web que indica als rastrejadors quins camins poden visitar i quins haurien d'evitar. El format data de l'any 1994 i és compatible amb pràcticament tots els motors de cerca i rastrejadors de bon comportament. El fitxer és d'assessorament (els rastrejadors maliciosos ho ignoren), però els rastrejadors legítims (Google, Bing, etc.) compleixen les seves directives de manera fiable.
Usos habituals: bloquejar els rastrejadors de les àrees d'administració (/wp-admin/, /admin/), excloure els paràmetres d'URL de cerca amb facetes que produeixen contingut duplicat, impedir la indexació de camins de desenvolupament o de desenvolupament, declarar la ubicació del mapa del lloc i permetre agents d'usuari específics mentre bloquegen altres. El fitxer es llegeix a l'inici de cada sessió de rastreig.
Aquest generador crea un robots.txt sintàcticament correcte a partir de les entrades del formulari. Els patrons comuns (permetre tot, bloquejar-ho tot, bloquejar camins específics) són plantilles; es poden afegir regles personalitzades per agent d'usuari. La sortida va a /robots.txt de l'arrel del vostre lloc.
El fitxer robots.txt d'escriptura a mà és propens a errors. Els errors de sintaxi (la distinció entre majúscules i minúscules, la concordança exacta de camins, l'ordre de les regles) produeixen silenciosament un comportament incorrecte: els camins que volies bloquejar continuen rastrejats o els camins que volies indexar s'exclouen. Un generador que produeix una sintaxi correcta evita aquests inconvenients.
robots.txt també té interaccions subtils amb altres eines de SEO. No permetre un camí a robots.txt no impedeix que aparegui als resultats de la cerca (Google pot indexar l'URL sense rastrejar-lo); meta noindex requereix que primer es rastregi la pàgina. Saber quina eina utilitzar per a quina intenció importa; el generador et pot guiar.
Trieu una plantilla, personalitzeu-la, implementeu-la.
Format: User-agent: <nom> seguit de les directives Allow/Disallow. * coincideix amb tots els robots. Els noms específics (Googlebot, Bingbot) s'orienten a rastrejadors específics. Diversos blocs d'agent d'usuari poden apilar regles.
No permetre: <camí> bloqueja els camins que comencen amb el prefix donat. No permetre: / bloqueja tot el lloc. No permetre: /admin/ bloqueja qualsevol cosa a /admin/. La barra inclinada és important; Disallow: /admin (sense barra inclinada) també coincideix amb /administrator.
El retard del rastreig (en segons) sol·licita un rastreig més lent. El mapa del lloc (URL absolut) declara la ubicació del vostre mapa del lloc. # inicia una línia de comentaris.