Nekavējoties ģenerējiet savai vietnei failu robots.txt. Pievienojiet lietotāja aģenta kārtulas, atļaut/neatļaut ceļus, pārmeklēšanas aizkavi un vietnes kartes URL. Bezmaksas reāllaika robots.txt ģenerators.
robots.txt ir vienkārša teksta fails vietnes saknē, kas rāpuļprogrammām norāda, kurus ceļus viņi var apmeklēt un no kuriem viņiem vajadzētu izvairīties. Formāts ir datēts ar 1994. gadu, un to atbalsta gandrīz visas meklētājprogrammas un labi izturējušies rāpuļprogrammas. Fails ir konsultatīvs — ļaunprātīgas rāpuļprogrammas to ignorē, taču likumīgās rāpuļprogrammas (Google, Bing utt.) uzticami ievēro tā norādījumus.
Bieži lietojumi: rāpuļprogrammu bloķēšana no administrēšanas apgabaliem (/wp-admin/, /admin/), šķautņu meklēšanas URL parametru izslēgšana, kas rada dublikātu saturu, iestudējuma vai izstrādes ceļu indeksēšanas novēršana, vietnes kartes atrašanās vietas deklarēšana un konkrētu lietotāju aģentu atļaušana, vienlaikus bloķējot citus. Fails tiek nolasīts katras pārmeklēšanas sesijas sākumā.
Šis ģenerators no veidlapas ievades veido sintaktiski pareizu failu robots.txt. Parastie modeļi (atļaut visu, bloķēt visu, bloķēt konkrētus ceļus) ir veidnes; pielāgotus noteikumus var pievienot katram lietotāja aģentam. Izvade tiek rādīta jūsu vietnes saknes failā /robots.txt.
Ar roku rakstot robots.txt, var rasties kļūdas. Sintakses kļūdas (reģistrjutīgums, precīza ceļa atbilstība, kārtulu secība) klusi rada nepareizu darbību — ceļi, kurus gribējāt bloķēt, paliek pārmeklēti, vai ceļi, kurus vēlējāties indeksēt, tiek izslēgti. Ģenerators, kas rada pareizu sintaksi, izvairās no šīm kļūmēm.
Vietnē robots.txt ir arī smalka mijiedarbība ar citiem SEO rīkiem. Ceļa atļaušana failā robots.txt neliedz tam parādīties meklēšanas rezultātos (Google var indeksēt URL, nepārmeklējot to); meta noindex pieprasa, lai lapa vispirms tiktu pārmeklēta. Zinot, kuru rīku izmantot kādam nolūkam ir svarīgi; ģenerators var jūs vadīt.
Izvēlieties veidni, pielāgojiet, izvietojiet.
Formāts: User-agent: <name>, kam seko Atļaut/Neatļaut direktīvas. * atbilst visiem robotiem. Konkrēti nosaukumi (Googlebot, Bingbot) attiecas uz noteiktiem rāpuļprogrammām. Vairāki lietotāja aģenta bloki var sakraut noteikumus.
Disallow: <path> bloķē ceļus, kas sākas ar doto prefiksu. Disallow: / bloķē visu vietni. Neatļaut: /admin/ bloķē visu sadaļā /admin/. beigu slīpsvītra jautājumiem; Disallow: /admin (bez slīpsvītras) atbilst arī /administrator.
Pārmeklēšanas aizkave (sekundēs) pieprasa lēnāku pārmeklēšanu. Vietnes karte (absolūtais URL) deklarē jūsu vietnes kartes atrašanās vietu. # sāk komentāra rindiņu.