Genera immediatamente un file robots.txt per il tuo sito web. Aggiungi regole user-agent, consenti/non consenti percorsi, ritardo di scansione e URL della mappa del sito. Generatore di robots.txt gratuito e in tempo reale.
robots.txt è un file di testo semplice alla radice di un sito Web che indica ai crawler quali percorsi possono visitare e quali dovrebbero evitare. Il formato risale al 1994 ed è supportato praticamente da ogni motore di ricerca e crawler ben educato. Il file è consultivo: i crawler dannosi lo ignorano, ma i crawler legittimi (Google, Bing, ecc.) rispettano le sue direttive in modo affidabile.
Usi comuni: blocco dei crawler dalle aree di amministrazione (/wp-admin/, /admin/), esclusione dei parametri URL di ricerca sfaccettata che producono contenuti duplicati, impedendo l'indicizzazione di percorsi di gestione temporanea o di sviluppo, dichiarando la posizione della mappa del sito e consentendo agenti utente specifici bloccandone altri. Il file viene letto all'inizio di ogni sessione di scansione.
Questo generatore crea un robots.txt sintatticamente corretto dagli input del modulo. I modelli comuni (consenti tutto, blocca tutto, blocca percorsi specifici) sono modelli; è possibile aggiungere regole personalizzate per agente utente. L'output va su /robots.txt della root del tuo sito.
La scrittura manuale del file robots.txt è soggetta a errori. Gli errori di sintassi (distinzione tra maiuscole e minuscole, corrispondenza esatta del percorso, ordinamento delle regole) producono silenziosamente un comportamento sbagliato: i percorsi che intendevi bloccare rimangono sottoposti a scansione oppure i percorsi che volevi indicizzare vengono esclusi. Un generatore che produce una sintassi corretta evita queste trappole.
robots.txt ha anche sottili interazioni con altri strumenti SEO. Non consentire un percorso nel file robots.txt non ne impedisce la visualizzazione nei risultati di ricerca (Google potrebbe indicizzare l'URL senza eseguirne la scansione); meta noindex richiede che la pagina venga prima scansionata. Sapere quale strumento utilizzare per quale intento conta; il generatore può guidarti.
Scegli un modello, personalizza, distribuisci.
Formato: agente utente: <nome> seguito dalle direttive Consenti/Disallow. * corrisponde a tutti i bot. Nomi specifici (Googlebot, Bingbot) prendono di mira crawler specifici. Più blocchi user-agent possono impilare le regole.
Disallow: <percorso> blocca i percorsi che iniziano con il prefisso specificato. Disallow: /blocca l'intero sito. Disallow: /admin/ blocca qualsiasi cosa sotto /admin/. La barra finale è importante; Disallow: /admin (senza barra) corrisponde anche a /administrator.
Il ritardo della scansione (in secondi) richiede una scansione più lenta. Sitemap (URL assoluto) dichiara la posizione della mappa del sito. # inizia una riga di commento.