Okamžitě vygenerujte soubor robots.txt pro svůj web. Přidejte pravidla uživatelského agenta, povolení/zakázaní cest, zpoždění procházení a adresu URL souboru Sitemap. Bezplatný generátor robots.txt v reálném čase.
robots.txt je prostý textový soubor v kořenovém adresáři webové stránky, který prohledávačům sděluje, které cesty mohou navštívit a kterým by se měli vyhnout. Formát pochází z roku 1994 a je podporován prakticky každým vyhledávačem a dobře fungujícím prohledávačem. Soubor je informativní – škodlivé prohledávače ho ignorují – ale legitimní prohledávače (Google, Bing atd.) jeho příkazy spolehlivě dodržují.
Běžná použití: blokování prohledávačů z oblastí pro správu (/wp-admin/, /admin/), vyloučení fasetovaných parametrů adresy URL pro vyhledávání, které vytvářejí duplicitní obsah, zabránění indexování pracovních nebo vývojových cest, deklarování umístění mapy webu a povolení konkrétních uživatelských agentů při blokování ostatních. Soubor je načten na začátku každé relace procházení.
Tento generátor vytvoří syntakticky správný soubor robots.txt ze vstupů formuláře. Běžné vzory (povolit vše, blokovat vše, blokovat konkrétní cesty) jsou šablony; vlastní pravidla lze přidat na uživatelského agenta. Výstup jde na /robots.txt kořenového adresáře vašeho webu.
Ruční psaní robots.txt je náchylné k chybám. Syntaktické chyby (rozlišování malých a velkých písmen, přesná shoda cest, řazení pravidel) v tichosti vytvářejí nesprávné chování – cesty, které jste chtěli zablokovat, zůstanou prolezené nebo cesty, které chcete indexovat, budou vyloučeny. Generátor, který vytváří správnou syntaxi, se těmto nástrahám vyhýbá.
robots.txt má také jemné interakce s dalšími nástroji SEO. Zakázání cesty v souboru robots.txt nezabrání jejímu zobrazení ve výsledcích vyhledávání (Google může indexovat adresu URL, aniž by ji procházel); meta noindex vyžaduje, aby byla stránka nejprve procházena. Vědět, který nástroj použít pro který záměr je důležitý; generátor vás může vést.
Vyberte šablonu, přizpůsobte, nasaďte.
Formát: User-agent: <jméno> následované direktivami Allow/Disallow. * odpovídá všem robotům. Konkrétní názvy (Googlebot, Bingbot) cílí na konkrétní prohledávače. Více bloků User-agent může skládat pravidla.
Disallow: <cesta> blokuje cesty začínající danou předponou. Disallow: / zablokuje celý web. Disallow: /admin/ blokuje cokoli pod /admin/. Konečné lomítko záleží; Disallow: /admin (bez lomítka) odpovídá také /administrator.
Zpoždění procházení (v sekundách) vyžaduje pomalejší procházení. Sitemap (absolutní URL) deklaruje umístění vašeho souboru Sitemap. # začíná řádek komentáře.