Genera un archivo robots.txt para tu sitio web al instante. Añade reglas de agente de usuario, rutas permitidas/bloqueadas, retraso de rastreo y URL del sitemap. Generador de robots.txt gratuito y en tiempo real.
robots.txt es un archivo de texto sin formato ubicado en la raíz de un sitio web que indica a los rastreadores qué rutas pueden visitar y cuáles deben evitar. El formato data de 1994 y es compatible con prácticamente todos los motores de búsqueda y rastreadores de buen comportamiento. El archivo es informativo (los rastreadores maliciosos lo ignoran), pero los rastreadores legítimos (Google, Bing, etc.) respetan sus directivas de manera confiable.
Usos comunes: bloquear rastreadores de áreas de administración (/wp-admin/, /admin/), excluir parámetros de URL de búsqueda facetada que producen contenido duplicado, evitar la indexación de rutas de preparación o desarrollo, declarar la ubicación del mapa del sitio y permitir agentes de usuario específicos mientras se bloquean otros. El archivo se lee al inicio de cada sesión de rastreo.
Este generador crea un archivo robots.txt sintácticamente correcto a partir de entradas de formulario. Los patrones comunes (permitir todo, bloquear todo, bloquear rutas específicas) son plantillas; Se pueden agregar reglas personalizadas por agente de usuario. El resultado va a /robots.txt de la raíz de su sitio.
La escritura manual de robots.txt es propensa a errores. Los errores de sintaxis (sensibilidad a mayúsculas y minúsculas, coincidencia exacta de rutas, ordenamiento de reglas) producen silenciosamente un comportamiento incorrecto: las rutas que deseaba bloquear permanecen rastreadas o las rutas que deseaba indexar se excluyen. Un generador que produzca una sintaxis correcta evita estos errores.
robots.txt también tiene interacciones sutiles con otras herramientas de SEO. No permitir una ruta en robots.txt no impide que aparezca en los resultados de búsqueda (Google puede indexar la URL sin rastrearla); meta noindex requiere que la página se rastree primero. Saber qué herramienta utilizar para cada propósito es importante; el generador puede guiarte.
Elija una plantilla, personalícela e impleméntela.
Formato: Agente de usuario: <nombre> seguido de directivas Permitir/No permitir. * coincide con todos los robots. Nombres específicos (Googlebot, Bingbot) se dirigen a rastreadores específicos. Varios bloques de agente de usuario pueden acumular reglas.
No permitir: <ruta> bloquea rutas que comienzan con el prefijo dado. No permitir: / bloquea todo el sitio. No permitir: /admin/ bloquea todo lo que esté debajo de /admin/. La barra diagonal es importante; No permitir: /admin (sin barra diagonal) también coincide con /administrador.
El retraso del rastreo (en segundos) solicita un rastreo más lento. El mapa del sitio (URL absoluta) declara la ubicación del mapa de su sitio. # inicia una línea de comentario.