Generera en robots.txt-fil för din webbplats direkt. Lägg till regler för användaragent, tillåt/inte tillåt sökvägar, genomsökningsfördröjning och webbadress för webbplatskarta. Gratis robots.txt-generator i realtid.
robots.txt är en vanlig textfil i roten av en webbplats som talar om för sökrobotar vilka sökvägar de kan besöka och vilka de bör undvika. Formatet dateras till 1994 och stöds av praktiskt taget alla sökmotorer och väluppfostrade sökrobotar. Filen är rådgivande – skadliga sökrobotar ignorerar den – men legitima sökrobotar (Google, Bing, etc.) respekterar dess direktiv på ett tillförlitligt sätt.
Vanliga användningsområden: blockering av sökrobotar från administratörsområden (/wp-admin/, /admin/), uteslutande av facetterade sökadressparametrar som producerar duplicerat innehåll, förhindrar indexering av iscensättnings- eller utvecklingsvägar, deklarerar platskartan och tillåter specifika användaragenter samtidigt som andra blockeras. Filen läses i början av varje genomsökningssession.
Denna generator bygger en syntaktisk korrekt robots.txt från formulärinmatningar. Vanliga mönster (tillåt alla, blockera alla, blockera specifika vägar) är mallar; anpassade regler kan läggas till per användaragent. Utdata går till /robots.txt för din webbplatsrot.
Handskrivande robots.txt är felbenäget. Syntaxmisstag (skiftlägeskänslighet, exakt sökvägsmatchning, ordningsföljd av regler) producerar tyst felaktigt beteende - sökvägar du menade att blockera förblir genomsökta, eller så exkluderas sökvägar du ville ha indexerade. En generator som producerar korrekt syntax undviker dessa fallgropar.
robots.txt har också subtil interaktion med andra SEO-verktyg. Att inte tillåta en sökväg i robots.txt hindrar inte att den visas i sökresultaten (Google kan indexera webbadressen utan att genomsöka den). meta noindex kräver att sidan genomsöks först. Att veta vilket verktyg som är viktigt för vilken avsikt; generatorn kan vägleda dig.
Välj en mall, anpassa, distribuera.
Format: User-agent: <namn> följt av Allow/Diallow-direktiv. * matchar alla bots. Specifika namn (Googlebot, Bingbot) riktar sig till specifika sökrobotar. Flera User-agent block kan stapla regler.
Disallow: <sökväg> blockerar sökvägar som börjar med det givna prefixet. Disallow: / blockerar hela webbplatsen. Disallow: /admin/ blockerar allt under /admin/. Släpande snedstreck spelar roll; Disallow: /admin (ingen snedstreck) matchar också /administratör.
Genomsökningsfördröjning (i sekunder) begär långsammare genomsökning. Webbplatskarta (absolut URL) anger din platskarta. # startar en kommentarsrad.