Générez instantanément un fichier robots.txt pour votre site web. Ajoutez des règles d'agent utilisateur, des chemins autorisés/bloqués, un délai d'exploration et l'URL du sitemap. Générateur de robots.txt gratuit et en temps réel.
robots.txt est un fichier texte brut situé à la racine d'un site Web qui indique aux robots d'exploration les chemins qu'ils peuvent visiter et ceux qu'ils doivent éviter. Le format date de 1994 et est pris en charge par pratiquement tous les moteurs de recherche et robots d'exploration bien élevés. Le fichier est consultatif – les robots malveillants l’ignorent – mais les robots légitimes (Google, Bing, etc.) respectent ses directives de manière fiable.
Utilisations courantes : bloquer les robots d'exploration des zones d'administration (/wp-admin/, /admin/), exclure les paramètres d'URL de recherche à facettes qui produisent du contenu en double, empêcher l'indexation des chemins de préparation ou de développement, déclarer l'emplacement du plan du site et autoriser des agents utilisateurs spécifiques tout en bloquant d'autres. Le fichier est lu au début de chaque session d'analyse.
Ce générateur construit un robots.txt syntaxiquement correct à partir des entrées de formulaire. Les modèles courants (tout autoriser, tout bloquer, bloquer des chemins spécifiques) sont des modèles ; des règles personnalisées peuvent être ajoutées par agent utilisateur. La sortie va dans /robots.txt de la racine de votre site.
L'écriture manuscrite du fichier robots.txt est sujette aux erreurs. Les erreurs de syntaxe (respect de la casse, correspondance exacte des chemins, ordre des règles) produisent silencieusement un comportement erroné : les chemins que vous vouliez bloquer restent explorés ou les chemins que vous souhaitiez indexer sont exclus. Un générateur qui produit une syntaxe correcte évite ces pièges.
robots.txt a également des interactions subtiles avec d'autres outils de référencement. Interdire un chemin dans robots.txt ne l'empêche pas d'apparaître dans les résultats de recherche (Google peut indexer l'URL sans l'explorer) ; meta noindex nécessite que la page soit d'abord explorée. Savoir quel outil utiliser pour quelle intention est important ; le générateur peut vous guider.
Choisissez un modèle, personnalisez-le, déployez-le.
Format : Agent utilisateur : <nom> suivi des directives Allow/Disallow. * correspond à tous les robots. Des noms spécifiques (Googlebot, Bingbot) ciblent des robots d'exploration spécifiques. Plusieurs blocs User-agent peuvent empiler des règles.
Interdire : <path> bloque les chemins commençant par le préfixe donné. Interdire : / bloque l'intégralité du site. Interdire : /admin/ bloque tout ce qui se trouve sous /admin/. La barre oblique finale est importante ; Interdire : /admin (sans barre oblique) correspond également à /administrator.
Le délai d'exploration (en secondes) demande une exploration plus lente. Le plan du site (URL absolue) déclare l'emplacement de votre plan de site. # commence une ligne de commentaire.