Generați instantaneu un fișier robots.txt pentru site-ul dvs. web. Adăugați reguli user-agent, permiteți/dezactivați căi, întârzierea accesării cu crawlere și adresa URL a sitemapului. Generator robots.txt gratuit, în timp real.
robots.txt este un fișier text simplu de la rădăcina unui site web care le spune crawlerilor ce căi pot vizita și pe care ar trebui să le evite. Formatul datează din 1994 și este acceptat de aproape orice motor de căutare și crawler bine comportat. Fișierul este consultativ - crawlerele rău intenționate îl ignoră - dar crawlerele legitime (Google, Bing etc.) își respectă directivele în mod fiabil.
Utilizări obișnuite: blocarea crawlerelor din zonele de administrare (/wp-admin/, /admin/), excluderea parametrilor URL de căutare cu fațete care produc conținut duplicat, prevenirea indexării căilor de dezvoltare sau punere în scenă, declararea locației sitemapului și permiterea anumitor agenți de utilizator în timp ce blochează alții. Fișierul este citit la începutul fiecărei sesiuni de accesare cu crawlere.
Acest generator creează un robots.txt corect din punct de vedere sintactic din intrările de formular. Modelele obișnuite (permiteți toate, blocați toate, blocați căile specifice) sunt șabloane; regulile personalizate pot fi adăugate pentru fiecare agent de utilizator. Ieșirea ajunge la /robots.txt al rădăcinii site-ului dvs.
Robots.txt scris de mână este predispus la erori. Greșelile de sintaxă (sensibilitatea majusculelor, potrivirea exactă a căilor, ordonarea regulilor) produc în tăcere un comportament greșit - căile pe care intenționați să le blocați rămân accesate cu crawlere sau căile pe care doriți să le indexați sunt excluse. Un generator care produce o sintaxă corectă evită aceste capcane.
robots.txt are, de asemenea, interacțiuni subtile cu alte instrumente SEO. Interzicerea unei căi în robots.txt nu împiedică apariția acesteia în rezultatele căutării (Google poate indexa adresa URL fără a o accesa cu crawlere); meta noindex necesită ca pagina să fie accesată cu crawlere mai întâi. Să știi ce instrument să folosești pentru care intenție contează; generatorul te poate ghida.
Alegeți un șablon, personalizați, implementați.
Format: User-agent: <nume> urmat de directivele Allow/Disallow. * se potrivește cu toți roboții. Nume specifice (Googlebot, Bingbot) vizează anumite crawlere. Mai multe blocuri User-agent pot stivui reguli.
Disallow: <cale> blochează căile care încep cu prefixul dat. Disallow: / blochează întregul site. Disallow: /admin/ blochează orice sub /admin/. Slash-ul final contează; Disallow: /admin (fără bară oblică) se potrivește și cu /administrator.
Întârzierea accesului cu crawlere (în secunde) solicită accesarea cu crawlere mai lentă. Sitemap (adresa URL absolută) declară locația sitemap-ului dvs. # începe o linie de comentarii.