Natychmiast wygeneruj plik robots.txt dla swojej witryny. Dodaj reguły klienta użytkownika, ścieżki zezwalania/zabrania, opóźnienie indeksowania i adres URL mapy witryny. Bezpłatny generator pliku robots.txt działający w czasie rzeczywistym.
robots.txt to zwykły plik tekstowy znajdujący się w katalogu głównym witryny internetowej, który informuje roboty indeksujące, jakie ścieżki mogą odwiedzać, a których powinny unikać. Format pochodzi z 1994 roku i jest obsługiwany przez praktycznie każdą wyszukiwarkę i dobrze zachowującego się robota. Plik ma charakter doradczy — złośliwe roboty go ignorują — ale legalne roboty (Google, Bing itp.) niezawodnie przestrzegają jego wytycznych.
Typowe zastosowania: blokowanie robotów indeksujących z obszarów administracyjnych (/wp-admin/, /admin/), wykluczanie parametrów adresu URL wyszukiwania fasetowego, które generują zduplikowaną treść, zapobieganie indeksowaniu ścieżek przejściowych lub programistycznych, deklarowanie lokalizacji mapy witryny i zezwalanie określonym agentom użytkownika podczas blokowania innych. Plik jest odczytywany na początku każdej sesji przeszukiwania.
Ten generator tworzy poprawny składniowo plik robots.txt na podstawie danych wejściowych z formularza. Typowe wzorce (zezwól na wszystko, blokuj wszystko, blokuj określone ścieżki) to szablony; niestandardowe reguły można dodać dla każdego agenta użytkownika. Dane wyjściowe trafiają do pliku /robots.txt w katalogu głównym witryny.
Plik robots.txt pisany odręcznie jest podatny na błędy. Błędy składniowe (uwzględnianie wielkości liter, dokładne dopasowanie ścieżki, kolejność reguł) po cichu powodują niewłaściwe zachowanie — ścieżki, które miałeś zablokować, pozostają przeszukiwane lub ścieżki, które chciałeś zaindeksować, są wykluczane. Generator generujący poprawną składnię pozwala uniknąć tych pułapek.
plik robots.txt ma również subtelne interakcje z innymi narzędziami SEO. Zakazanie ścieżki w pliku robots.txt nie uniemożliwia jej pojawienia się w wynikach wyszukiwania (Google może zaindeksować adres URL bez jego indeksowania); meta noindex wymaga najpierw przeszukania strony. Wiedza o tym, jakiego narzędzia użyć do jakiego celu ma znaczenie; generator może Cię poprowadzić.
Wybierz szablon, dostosuj, wdróż.
Format: User-agent: <nazwa>, po której następują dyrektywy Zezwól/Zabroń. * pasuje do wszystkich botów. Konkretne nazwy (Googlebot, Bingbot) są kierowane do określonych robotów. Wiele bloków agenta użytkownika może łączyć reguły.
Disallow: <path> blokuje ścieżki zaczynające się od podanego przedrostka. Disallow: / blokuje całą witrynę. Disallow: /admin/ blokuje wszystko w katalogu /admin/. Ukośnik końcowy ma znaczenie; Nie zezwalaj: /admin (bez ukośnika) pasuje również do /administrator.
Opóźnienie indeksowania (w sekundach) żąda wolniejszego indeksowania. Mapa witryny (bezwzględny adres URL) określa lokalizację mapy witryny. # rozpoczyna linię komentarza.