Okamžite vygenerujte súbor robots.txt pre svoj web. Pridajte pravidlá používateľského agenta, povolenie/zakázanie ciest, oneskorenie indexového prehľadávania a webovú adresu mapy webu. Bezplatný generátor robots.txt v reálnom čase.
robots.txt je obyčajný textový súbor v koreňovom adresári webovej stránky, ktorý informuje prehľadávače, ktoré cesty môžu navštíviť a ktorým by sa mali vyhnúť. Formát pochádza z roku 1994 a podporuje ho prakticky každý vyhľadávací nástroj a dobre fungujúci prehľadávač. Súbor je informatívny – škodlivé prehľadávače ho ignorujú – ale legitímne prehľadávače (Google, Bing atď.) spoľahlivo dodržiavajú jeho príkazy.
Bežné použitia: blokovanie prehľadávačov z oblastí správcu (/wp-admin/, /admin/), vylúčenie parametrov fazetových vyhľadávacích adries URL, ktoré vytvárajú duplicitný obsah, zabránenie indexovaniu ciest prípravy alebo vývoja, deklarovanie umiestnenia mapy lokality a povolenie konkrétnych používateľských agentov pri blokovaní ostatných. Súbor sa načíta na začiatku každej relácie prehľadávania.
Tento generátor vytvára zo vstupov formulára syntakticky správny súbor robots.txt. Bežné vzory (povoliť všetko, blokovať všetko, blokovať konkrétne cesty) sú šablóny; vlastné pravidlá môžu byť pridané pre používateľského agenta. Výstup ide na /robots.txt koreňového adresára vašej lokality.
Ručné písanie robots.txt je náchylné na chyby. Syntaktické chyby (rozlišovanie malých a veľkých písmen, presné priraďovanie ciest, usporiadanie pravidiel) v tichosti spôsobujú nesprávne správanie – cesty, ktoré ste chceli zablokovať, zostanú prehľadané alebo cesty, ktoré ste chceli indexovať, budú vylúčené. Generátor, ktorý vytvára správnu syntax, sa týmto nástrahám vyhýba.
robots.txt má tiež jemné interakcie s inými nástrojmi SEO. Zakázanie cesty v súbore robots.txt nezabráni jej zobrazeniu vo výsledkoch vyhľadávania (Google môže indexovať adresu URL bez toho, aby ju prehľadával); meta noindex vyžaduje, aby sa stránka najprv prehľadala. Vedieť, ktorý nástroj použiť na ktorý zámer je dôležitý; generátor vás môže viesť.
Vyberte šablónu, prispôsobte, nasaďte.
Formát: User-agent: <meno>, za ktorým nasledujú direktívy Allow/Disallow. * zodpovedá všetkým robotom. Konkrétne názvy (Googlebot, Bingbot) cielia na konkrétne prehľadávače. Viaceré bloky User-agent môžu spájať pravidlá.
Disallow: <path> blokuje cesty začínajúce danou predponou. Disallow: / blokuje celý web. Disallow: /admin/ blokuje čokoľvek pod /admin/. Na koncovej lomke záleží; Disallow: /admin (bez lomky) sa zhoduje aj s /administrator.
Oneskorenie indexového prehľadávania (v sekundách) vyžaduje pomalšie indexové prehľadávanie. Sitemap (absolútna adresa URL) deklaruje umiestnenie vášho súboru Sitemap. # začína riadok komentára.