Ilmainen muunnin
robots.txt Generaattori
Luo robots.txt-tiedosto verkkosivustollesi välittömästi. Lisää käyttäjäagenttisääntöjä, salli/ei salli polkuja, indeksointiviive ja sivustokartan URL-osoite. Ilmainen, reaaliaikainen robots.txt-generaattori.
Luo robots.txt-tiedosto verkkosivustollesi välittömästi. Lisää käyttäjäagenttisääntöjä, salli/ei salli polkuja, indeksointiviive ja sivustokartan URL-osoite. Ilmainen, reaaliaikainen robots.txt-generaattori.
robots.txt on pelkkä tekstitiedosto verkkosivuston juuressa, joka kertoo indeksointiroboteille, millä poluilla he voivat käydä ja mitä heidän tulee välttää. Muoto on vuodelta 1994, ja sitä tukevat käytännössä kaikki hakukoneet ja hyvin käyttäytyvät indeksointirobotit. Tiedosto on neuvoa-antava – haitalliset indeksointirobotit jättävät sen huomiotta – mutta lailliset indeksointirobotit (Google, Bing jne.) noudattavat sen ohjeita luotettavasti.
Yleisiä käyttötarkoituksia: indeksointirobottien estäminen järjestelmänvalvojan alueilta (/wp-admin/, /admin/), päällekkäistä sisältöä tuottavien fasetettujen URL-osoitteiden parametrien poissulkeminen, vaiheittaisten tai kehityspolkujen indeksoinnin estäminen, sivustokartan sijainnin ilmoittaminen ja tiettyjen käyttäjäagenttien salliminen samalla kun estetään muita. Tiedosto luetaan jokaisen indeksointiistunnon alussa.
Tämä generaattori rakentaa syntaktisesti oikean robots.txt-tiedoston lomakesyötteistä. Yleiset mallit (salli kaikki, estä kaikki, estä tietyt polut) ovat malleja; mukautettuja sääntöjä voidaan lisätä käyttäjäagenttia kohden. Tulos menee sivustosi juuren /robots.txt-tiedostoon.
Käsin kirjoittaminen robots.txt on virhealtista. Syntaksivirheet (kirjainkoolla on herkkyys, tarkka polun täsmäytys, sääntöjen järjestys) aiheuttavat äänettömästi väärää toimintaa – estettävät polut pysyvät indeksoituina tai reitit, jotka haluat indeksoida, suljetaan pois. Generaattori, joka tuottaa oikean syntaksin, välttää nämä sudenkuopat.
robots.txtillä on myös hienovarainen vuorovaikutus muiden SEO-työkalujen kanssa. Polun kieltäminen robots.txt-tiedostossa ei estä sen näkymistä hakutuloksissa (Google saattaa indeksoida URL-osoitteen indeksoimatta sitä); metanoindex edellyttää, että sivu indeksoidaan ensin. Tietää mitä työkalua käyttää mihin tarkoitukseen on tärkeää; generaattori voi opastaa sinua.
Valitse malli, mukauta ja ota käyttöön.
Muoto: User-agent: <nimi> ja sen jälkeen Allow/Disallow-käskyt. * vastaa kaikkia botteja. Tietyt nimet (Googlebot, Bingbot) kohdistavat tietyille indeksointiroboteille. Useat User-agent-lohkot voivat pinota sääntöjä.
Disallow: <polku> estää polut, jotka alkavat annetulla etuliitteellä. Disallow: / estää koko sivuston. Disallow: /admin/ estää kaiken /admin/-kohdassa. perässä vinoviiva asiat; Disallow: /admin (ei kauttaviivaa) vastaa myös /administrator.
Indeksointiviive (sekunneissa) vaatii hitaampaa indeksointia. Sivustokartta (absoluuttinen URL-osoite) ilmoittaa sivustokarttasi sijainnin. # aloittaa kommenttirivin.