Any-Tools.net
Besplatni pretvarač

roboti.txt Generator

Trenutačno generirajte datoteku robots.txt za svoju web stranicu. Dodajte pravila korisničkog agenta, dopustite/onemogućite staze, odgodu indeksiranja i URL karte web-lokacije. Besplatan generator robots.txt u stvarnom vremenu.

Dodaj pravilo

Generirani roboti.txt

Povezani alati

Vidi sve alate

Hreflang oznaka Generator

Generirajte hreflang oznake za međunarodni SEO. Stvorite HTML oznake veza, HTTP zaglavlja ili unose XML karte web-mjesta za višejezične web stranice. Besplatni generator hreflang oznaka.

OG oznaka Generator

Generirajte meta oznake Open Graph za Facebook, Twitter i LinkedIn. Besplatni generator OG oznaka s pregledom društvenih kartica uživo.

Oznaka Twitter kartice Generator

Generirajte meta oznake Twitter kartice za bolje društveno dijeljenje na X (Twitter). Besplatni generator oznaka s pregledom uživo i kopiranjem u međuspremnik.

Označavanje sheme (JSON-LD) Generator

Generirajte označavanje sheme strukturiranih podataka (JSON-LD) za svoju web stranicu. Besplatni JSON-LD generator koji podržava članak, lokalnu tvrtku, proizvod, stranicu s često postavljanim pitanjima, događaj i više.

O ovom alatu

robots.txt je obična tekstualna datoteka u korijenu web stranice koja govori indeksima koje staze mogu posjetiti, a koje bi trebali izbjegavati. Format datira iz 1994. godine i podržavaju ga gotovo sve tražilice i dobri alati za indeksiranje. Datoteka je savjetodavna — zlonamjerni alati za indeksiranje je ignoriraju — ali legitimni alati za indeksiranje (Google, Bing itd.) pouzdano poštuju njezine upute.

Uobičajene upotrebe: blokiranje indeksiranja iz administratorskih područja (/wp-admin/, /admin/), isključivanje parametara URL-a za fasetirano pretraživanje koji proizvode dvostruki sadržaj, sprječavanje indeksiranja probnih ili razvojnih staza, deklariranje lokacije na karti web-lokacije i dopuštanje određenih korisničkih agenata uz blokiranje ostalih. Datoteka se čita na početku svake sesije indeksiranja.

Ovaj generator izrađuje sintaktički ispravnu datoteku robots.txt od unosa obrasca. Uobičajeni uzorci (dopusti sve, blokiraj sve, blokiraj određene staze) su predlošci; prilagođena pravila mogu se dodati po korisničkom agentu. Izlaz ide u /robots.txt korijena vaše stranice.

Zašto koristiti robots.txt generator

Rukopis robots.txt podložan je pogreškama. Pogreške u sintaksi (osjetljivost velikih i malih slova, točno podudaranje putanje, redoslijed pravila) tiho proizvode pogrešno ponašanje — staze koje ste namjeravali blokirati ostaju indeksirane ili se staze koje ste htjeli indeksirati isključuju. Generator koji proizvodi ispravnu sintaksu izbjegava ove zamke.

robots.txt također ima suptilne interakcije s drugim SEO alatima. Onemogućavanje putanje u robots.txt ne sprječava njeno pojavljivanje u rezultatima pretraživanja (Google može indeksirati URL bez indeksiranja); meta noindex zahtijeva da se stranica najprije indeksira. Važno je znati koji alat koristiti za koju namjeru; generator vas može voditi.

Kako koristiti

Odaberite predložak, prilagodite, implementirajte.

  1. Odaberite početni predložak: Dopusti sve (zadani položaj pretraživanja i indeksiranja svega), Blokiraj sve (blokiraj sve od indeksiranja) ili Prilagođeno (počni od pravila koja odrediš).
  2. Dodajte pravila korisničkog agenta: Onemogući određene staze za sve alate za indeksiranje ili za određene imenovane botove (Googlebot, Bingbot, GPTBot). Svaki blok korisničkog agenta ima vlastiti skup naredbi Dopusti i Zabrani.
  3. Dodajte URL karte web-lokacije: Uključite apsolutni URL vaše XML karte web-lokacije. Alati za indeksiranje koriste ovo za otkrivanje URL-ova koje bi inače mogli propustiti.
  4. Spremite i implementirajte: Preuzmite generiranu datoteku. Prenesite u korijen svoje domene (tako da se pojavljuje na https://example.com/robots.txt). Potvrdite posjetom tom URL-u u pregledniku.

Uobičajeni slučajevi upotrebe

Tehnički detalji

Format: Korisnički agent: <ime> nakon čega slijede naredbe Dopusti/Zabrani. * odgovara svim botovima. Određeni nazivi (Googlebot, Bingbot) ciljaju na određene pretraživače. Višestruki blokovi korisničkih agenata mogu slagati pravila.

Disallow: <path> blokira staze koje počinju danim prefiksom. Disallow: / blokira cijelu stranicu. Disallow: /admin/ blokira sve pod /admin/. Kosa crta na kraju je važna; Disallow: /admin (bez kose crte) također odgovara /administratoru.

Odgoda indeksiranja (u sekundama) zahtijeva sporije indeksiranje. Sitemap (apsolutni URL) izjavljuje vašu lokaciju na karti web-mjesta. # započinje red komentara.

Najbolji primjeri iz prakse

Često postavljana pitanja

Mogu li prilagoditi generirani izlaz?
da Alat nudi različite mogućnosti prilagodbe za prilagodbu rezultata vašim specifičnim potrebama. Podesite postavke prije generiranja ili regenerirajte pomoću različitih opcija.
Je li generirani sadržaj besplatan za korištenje?
da Sve što generišete ovim alatom vaše je za korištenje u osobne, obrazovne ili komercijalne svrhe bez ikakvih ograničenja ili zahtjeva za atribucijom.
Je li za ovo potreban račun?
Ne. Alat je odmah spreman za korištenje bez prijave, e-pošte i registracije. Samo otvorite stranicu i počnite generirati.
Čuvaju li se moji ulazni podaci privatni?
da Sva se obrada odvija u vašem pregledniku. Vaši ulazni podaci i generirani izlaz nikada se ne šalju bilo kojem vanjskom poslužitelju.
Kako mogu blokirati jednog bota, ali dopustiti drugima?
Odvojeni blokovi korisničkog agenta. Korisnički agent: BadBot nakon čega slijedi Disallow: / blokira BadBot. User-agent: * s Allow: / dopušta drugima.
Je li robots.txt osjetljiv na velika i mala slova?
Uparivanje putanje razlikuje velika i mala slova. Disallow: /Admin ne odgovara /admin. Uskladite stvarna velika i mala slova vaših URL-ova.
Usporava li Crawl-delay zapravo Google?
Google ne poštuje odgodu indeksiranja. Poštuje postavke stope indeksiranja u Search Consoleu. Drugi alati za indeksiranje (Bing, Yandex) poštuju odgodu indeksiranja.
Jesu li moji podaci učitani?
Ne. Generiranje se događa u vašem pregledniku.

Related Articles

Content & SEO

Text & SEO Tools Every Content Creator Needs

A practical guide to text analysis and SEO tools including word counters, keyword density checkers, case converters, and readability analyzers for content creators and marketers.

8 min readPrivacy & Technology

Why Browser-Based Tools Are the Future: No Installs, No Uploads, No Risk

Discover why browser-based tools are replacing desktop software and cloud uploads. Learn how client-side processing keeps your files private while delivering powerful functionality.

7 min read