robots.txt Generator
Veb saytınız üçün dərhal robots.txt faylı yaradın. İstifadəçi-agent qaydaları əlavə edin, yollara icazə verin/icazə verin, tarama gecikməsi və sayt xəritəsi URL-i. Pulsuz, real vaxt robots.txt generatoru.
Veb saytınız üçün dərhal robots.txt faylı yaradın. İstifadəçi-agent qaydaları əlavə edin, yollara icazə verin/icazə verin, tarama gecikməsi və sayt xəritəsi URL-i. Pulsuz, real vaxt robots.txt generatoru.
robots.txt veb-saytın kökündə olan sadə mətn faylıdır və bu, taramaçılara hansı yolları ziyarət edə biləcəklərini və hansı yollardan qaçmaq lazım olduğunu bildirir. Format 1994-cü ilə aiddir və demək olar ki, hər bir axtarış motoru və yaxşı davranışlı tarayıcı tərəfindən dəstəklənir. Fayl məsləhət xarakteri daşıyır – zərərli taramaçılar ona məhəl qoymurlar, lakin qanuni brauzerlər (Google, Bing və s.) onun direktivlərini etibarlı şəkildə yerinə yetirirlər.
Ümumi istifadələr: admin sahələrindən (/wp-admin/, /admin/) taramaçıların bloklanması, dublikat məzmun yaradan üzlü axtarış URL parametrləri istisna olmaqla, quruluş və ya inkişaf yollarının indeksləşdirilməsinin qarşısının alınması, sayt xəritəsinin yerini elan etmək və başqalarını bloklayarkən xüsusi istifadəçi agentlərinə icazə vermək. Fayl hər tarama sessiyasının əvvəlində oxunur.
Bu generator forma girişlərindən sintaktik olaraq düzgün robots.txt qurur. Ümumi nümunələr (hamısına icazə verin, hamısını bloklayın, xüsusi yolları bloklayın) şablonlardır; istifadəçi agentinə fərdi qaydalar əlavə edilə bilər. Çıxış saytınızın kökünün /robots.txt ünvanına gedir.
Əl yazısı robots.txt xətaya meyllidir. Sintaksis səhvləri (həssaslıq, dəqiq yol uyğunluğu, qaydaların sıralanması) səssizcə yanlış davranış yaradır - bloklamaq istədiyiniz yollar taranmış qalır və ya indeksləşdirilməsini istədiyiniz yollar xaric edilir. Düzgün sintaksisi yaradan generator bu tələlərin qarşısını alır.
robots.txt də digər SEO alətləri ilə incə qarşılıqlı əlaqəyə malikdir. robots.txt-də yola icazə verilməməsi onun axtarış nəticələrində görünməsinə mane olmur (Google URL-i taramadan indeksləyə bilər); meta noindex əvvəlcə səhifənin taranmasını tələb edir. Hansı vasitənin hansı məqsəd üçün istifadə olunacağını bilmək; generator sizə yol göstərə bilər.
Şablon seçin, fərdiləşdirin, yerləşdirin.
Format: İstifadəçi-agent: <ad> və ardınca Allow/Disallow direktivləri. * bütün botlara uyğun gəlir. Xüsusi adlar (Googlebot, Bingbot) xüsusi taramaçıları hədəfləyir. Çoxsaylı İstifadəçi-agent blokları qaydaları yığa bilər.
Disallow: <path> verilmiş prefikslə başlayan yolları bloklayır. Disallow: / bütün saytı bloklayır. Disallow: /admin/ /admin/ altında olan hər şeyi bloklayır. Slash məsələləri arxada; İcazə ver: /admin (heç bir kəsik işarəsi yoxdur) /administratorla da uyğun gəlir.
Tarama gecikməsi (saniyələrlə) daha yavaş tarama tələb edir. Sayt xəritəsi (mütləq URL) sayt xəritənizin yerini bildirir. # şərh xəttinə başlayır.