Pulsuz çevirici

robots.txt Generator

Veb saytınız üçün dərhal robots.txt faylı yaradın. İstifadəçi-agent qaydaları əlavə edin, yollara icazə verin/icazə verin, tarama gecikməsi və sayt xəritəsi URL-i. Pulsuz, real vaxt robots.txt generatoru.

Qayda əlavə edin

Yaradılmış robots.txt

Bu alət haqqında

robots.txt veb-saytın kökündə olan sadə mətn faylıdır və bu, taramaçılara hansı yolları ziyarət edə biləcəklərini və hansı yollardan qaçmaq lazım olduğunu bildirir. Format 1994-cü ilə aiddir və demək olar ki, hər bir axtarış motoru və yaxşı davranışlı tarayıcı tərəfindən dəstəklənir. Fayl məsləhət xarakteri daşıyır – zərərli taramaçılar ona məhəl qoymurlar, lakin qanuni brauzerlər (Google, Bing və s.) onun direktivlərini etibarlı şəkildə yerinə yetirirlər.

Ümumi istifadələr: admin sahələrindən (/wp-admin/, /admin/) taramaçıların bloklanması, dublikat məzmun yaradan üzlü axtarış URL parametrləri istisna olmaqla, quruluş və ya inkişaf yollarının indeksləşdirilməsinin qarşısının alınması, sayt xəritəsinin yerini elan etmək və başqalarını bloklayarkən xüsusi istifadəçi agentlərinə icazə vermək. Fayl hər tarama sessiyasının əvvəlində oxunur.

Bu generator forma girişlərindən sintaktik olaraq düzgün robots.txt qurur. Ümumi nümunələr (hamısına icazə verin, hamısını bloklayın, xüsusi yolları bloklayın) şablonlardır; istifadəçi agentinə fərdi qaydalar əlavə edilə bilər. Çıxış saytınızın kökünün /robots.txt ünvanına gedir.

Niyə robots.txt Generator istifadə edin

Əl yazısı robots.txt xətaya meyllidir. Sintaksis səhvləri (həssaslıq, dəqiq yol uyğunluğu, qaydaların sıralanması) səssizcə yanlış davranış yaradır - bloklamaq istədiyiniz yollar taranmış qalır və ya indeksləşdirilməsini istədiyiniz yollar xaric edilir. Düzgün sintaksisi yaradan generator bu tələlərin qarşısını alır.

robots.txt də digər SEO alətləri ilə incə qarşılıqlı əlaqəyə malikdir. robots.txt-də yola icazə verilməməsi onun axtarış nəticələrində görünməsinə mane olmur (Google URL-i taramadan indeksləyə bilər); meta noindex əvvəlcə səhifənin taranmasını tələb edir. Hansı vasitənin hansı məqsəd üçün istifadə olunacağını bilmək; generator sizə yol göstərə bilər.

Necə istifadə etməli

Şablon seçin, fərdiləşdirin, yerləşdirin.

  1. Başlanğıc şablonu seçin: Hamısına icazə verin (defolt olaraq hər şeyi tarama mövqeyi), Hamısını bloklayın (hər şeyi indeksləşdirməni bloklayın) və ya Fərdi (müəyyən etdiyiniz qaydalardan başlayın).
  2. İstifadəçi agenti qaydalarını əlavə edin: Bütün taramaçılar və ya xüsusi adlandırılmış botlar (Googlebot, Bingbot, GPTBot) üçün xüsusi yollara icazə verməyin. Hər bir istifadəçi agent blokunun öz icazə və icazə vermə direktivləri dəsti var.
  3. Sayt xəritəsi URL əlavə edin: XML sayt xəritənizin mütləq URL-ni daxil edin. Tarayıcılar bundan başqa halda əldən verə biləcəkləri URL-ləri tapmaq üçün istifadə edirlər.
  4. Saxlayın və yerləşdirin: Yaradılmış faylı yükləyin. Domeninizin kökünə yükləyin (buna görə də o, https://example.com/robots.txt ünvanında görünür). Brauzerdə həmin URL-ə daxil olaraq təsdiqləyin.

Ümumi istifadə halları

Texniki Detallar

Format: İstifadəçi-agent: <ad> və ardınca Allow/Disallow direktivləri. * bütün botlara uyğun gəlir. Xüsusi adlar (Googlebot, Bingbot) xüsusi taramaçıları hədəfləyir. Çoxsaylı İstifadəçi-agent blokları qaydaları yığa bilər.

Disallow: <path> verilmiş prefikslə başlayan yolları bloklayır. Disallow: / bütün saytı bloklayır. Disallow: /admin/ /admin/ altında olan hər şeyi bloklayır. Slash məsələləri arxada; İcazə ver: /admin (heç bir kəsik işarəsi yoxdur) /administratorla da uyğun gəlir.

Tarama gecikməsi (saniyələrlə) daha yavaş tarama tələb edir. Sayt xəritəsi (mütləq URL) sayt xəritənizin yerini bildirir. # şərh xəttinə başlayır.

Ən yaxşı təcrübələr

Tez-tez verilən suallar

Yaradılan çıxışı fərdiləşdirə bilərəmmi?
Bəli. Alət, çıxışı xüsusi ehtiyaclarınıza uyğunlaşdırmaq üçün müxtəlif fərdiləşdirmə variantları təqdim edir. Yaratmadan əvvəl parametrləri tənzimləyin və ya müxtəlif seçimlərlə bərpa edin.
Yaradılan məzmundan istifadə etmək pulsuzdurmu?
Bəli. Bu alətlə yaratdığınız hər şey şəxsi, təhsil və ya kommersiya məqsədləri üçün heç bir məhdudiyyət və ya atribusiya tələbləri olmadan istifadə etmək üçün sizindir.
Bunun üçün hesab lazımdır?
Xeyr. Alət qeydiyyatdan keçmədən, e-poçt olmadan və qeydiyyat olmadan dərhal istifadəyə hazırdır. Sadəcə səhifəni açın və yaratmağa başlayın.
Daxiletmə məlumatlarım məxfi saxlanılır?
Bəli. Bütün emal brauzerinizdə baş verir. Daxil etdiyiniz məlumat və yaradılan çıxış heç vaxt heç bir xarici serverə göndərilmir.
Bir botu necə bloklayıb başqalarına icazə verə bilərəm?
İstifadəçi-agent bloklarını ayırın. İstifadəçi agenti: BadBot və ardınca Disallow: / BadBot-u bloklayır. İstifadəçi-agent: * ilə Allow: / başqalarına icazə verir.
robots.txt hərf-həssasdır?
Yol uyğunluğu böyük hərflərə həssasdır. İcazə vermə: /Admin uyğun gəlmir /admin. URL-lərinizin faktiki vəziyyətinə uyğunlaşdırın.
Crawl gecikməsi Google-u həqiqətən yavaşladırmı?
Google Tarama gecikməsinə hörmət etmir. O, Search Console-da tarama dərəcəsi parametrlərinə hörmət edir. Digər tarayıcılar (Bing, Yandex) Crawl gecikməsinə hörmət edir.
Məlumatlarım yüklənib?
Xeyr. Nəsil brauzerinizdə baş verir.