Takoj ustvarite datoteko robots.txt za vaše spletno mesto. Dodajte pravila uporabniškega agenta, dovolite/onemogočite poti, zakasnitev iskanja po vsebini in URL zemljevida spletnega mesta. Brezplačni generator robots.txt v realnem času.
robots.txt je datoteka z navadnim besedilom v korenu spletnega mesta, ki pajkom pove, katere poti lahko obiščejo in katerim se morajo izogibati. Format sega v leto 1994 in ga podpirajo skoraj vsi iskalniki in dobro obnašani pajki. Datoteka je svetovalna – zlonamerni pajki jo ignorirajo – vendar zakoniti pajki (Google, Bing itd.) zanesljivo spoštujejo njene direktive.
Pogoste uporabe: blokiranje pajkov iz skrbniških območij (/wp-admin/, /admin/), izključitev parametrov URL-ja fasetnega iskanja, ki proizvajajo podvojeno vsebino, preprečevanje indeksiranja uprizoritvenih ali razvojnih poti, deklaracija lokacije na zemljevidu spletnega mesta in omogočanje določenih uporabniških agentov, medtem ko blokira druge. Datoteka se prebere na začetku vsake seje iskanja po vsebini.
Ta generator iz vnosov obrazca zgradi sintaktično pravilno datoteko robots.txt. Pogosti vzorci (dovoli vse, blokiraj vse, blokiraj določene poti) so predloge; pravila po meri je mogoče dodati na uporabniškega agenta. Izhod gre v /robots.txt korena vašega spletnega mesta.
Ročno pisanje robots.txt je nagnjeno k napakam. Napake v sintaksi (občutljivost na velike in male črke, natančno ujemanje poti, vrstni red pravil) tiho povzročijo napačno vedenje – poti, ki ste jih nameravali blokirati, ostanejo preiskane ali pa so poti, ki ste jih želeli indeksirati, izključene. Generator, ki ustvari pravilno sintakso, se izogne tem pastem.
robots.txt ima tudi subtilne interakcije z drugimi orodji SEO. Onemogočanje poti v robots.txt ne prepreči, da bi se pojavila v rezultatih iskanja (Google lahko indeksira URL, ne da bi ga preiskal); meta noindex zahteva, da je stran najprej preiskana. Pomembno je vedeti, katero orodje uporabiti za kateri namen; generator vas lahko vodi.
Izberite predlogo, prilagodite, uvedite.
Oblika: Uporabniški agent: <ime>, ki mu sledijo direktive Dovoli/Prepovedi. * se ujema z vsemi roboti. Določena imena (Googlebot, Bingbot) ciljajo na določene pajke. Več blokov uporabniškega agenta lahko zloži pravila.
Disallow: <path> blokira poti, ki se začnejo z dano predpono. Disallow: / blokira celotno spletno mesto. Disallow: /admin/ blokira vse pod /admin/. Končna poševnica je pomembna; Disallow: /admin (brez poševnice) se ujema tudi z /administrator.
Zakasnitev pajkanja (v sekundah) zahteva počasnejše pajkanje. Zemljevid spletnega mesta (absolutni URL) navaja lokacijo zemljevida spletnega mesta. # začne vrstico za komentar.