Azonnal hozzon létre egy robots.txt fájlt webhelyéhez. Adjon hozzá felhasználói ügynök szabályokat, engedélyezze/tiltsa az útvonalakat, a feltérképezési késleltetést és a webhelytérkép URL-jét. Ingyenes, valós idejű robots.txt generátor.
A robots.txt egy egyszerű szöveges fájl a webhely gyökerében, amely megmondja a robotoknak, hogy mely útvonalakat kereshetik fel, és melyeket kerülniük kell. A formátum 1994-ből származik, és gyakorlatilag minden keresőmotor és jól viselkedő bejáró támogatja. A fájl tájékoztató jellegű – a rosszindulatú bejárók figyelmen kívül hagyják –, de a törvényes bejárók (Google, Bing stb.) megbízhatóan betartják az utasításait.
Gyakori felhasználások: a feltérképező robotok blokkolása az adminisztrációs területekről (/wp-admin/, /admin/), az ismétlődő tartalmat előállító fazettált keresési URL-paraméterek kizárása, az átmeneti vagy fejlesztési utak indexelésének megakadályozása, a webhelytérkép helyének deklarálása, valamint bizonyos felhasználói ügynökök engedélyezése, míg mások blokkolása. A fájl minden feltérképezési munkamenet elején beolvasásra kerül.
Ez a generátor egy szintaktikailag helyes robots.txt fájlt készít az űrlap bemeneteiből. A gyakori minták (minden engedélyezése, összes letiltása, meghatározott útvonalak blokkolása) sablonok; felhasználói ügynökönként egyéni szabályok adhatók hozzá. A kimenet a webhely gyökérkönyvtárának /robots.txt fájljába kerül.
A robots.txt kézi írása hibás. A szintaktikai hibák (kis- és nagybetűk érzékenysége, pontos elérési útvonal-illesztés, szabályok sorrendje) csendben rossz viselkedést idéznek elő – a blokkolni kívánt utak feltérképezve maradnak, vagy az indexelni kívánt útvonalakat kizárják. A helyes szintaxist előállító generátor elkerüli ezeket a buktatókat.
A robots.txt más SEO-eszközökkel is finoman kölcsönhatásba lép. Egy elérési út letiltása a robots.txt fájlban nem akadályozza meg annak megjelenését a keresési eredmények között (a Google indexelheti az URL-t anélkül, hogy feltérképezné); meta noindex megköveteli, hogy az oldalt először feltérképezzék. Annak ismerete, hogy melyik eszközt melyik szándékhoz kell használni; a generátor eligazíthatja.
Válasszon egy sablont, szabja testre, telepítse.
Formátum: User-agent: <név>, majd az Allow/Disallow direktívák. * minden botnak megfelel. Az egyes nevek (Googlebot, Bingbot) meghatározott feltérképező robotokat céloznak meg. Több User-agent blokk halmozhat szabályokat.
Disallow: <path> blokkolja a megadott előtaggal kezdődő útvonalakat. Disallow: / blokkolja a teljes webhelyet. Disallow: /admin/ letilt bármit az /admin/ alatt. A lejtős perjel számít; Disallow: /admin (nincs perjel) is megfelel az /administrator.
A feltérképezési késleltetés (másodpercben) lassabb feltérképezést kér. A webhelytérkép (abszolút URL) deklarálja az Ön webhelytérképének helyét. # megjegyzéssort indít.