Web siteniz için anında bir robots.txt dosyası oluşturun. Kullanıcı aracısı kuralları, izin verme/izin vermeme yolları, tarama gecikmesi ve site haritası URL'si ekleyin. Ücretsiz, gerçek zamanlı robots.txt oluşturucu.
robots.txt, bir web sitesinin kökünde bulunan ve tarayıcılara hangi yolları ziyaret edebileceklerini ve hangilerinden kaçınmaları gerektiğini söyleyen düz metin dosyasıdır. Formatın tarihi 1994 yılına dayanmaktadır ve hemen hemen her arama motoru ve iyi niyetli tarayıcı tarafından desteklenmektedir. Dosya tavsiye niteliğindedir (kötü niyetli tarayıcılar bunu görmezden gelir) ancak yasal tarayıcılar (Google, Bing vb.) dosyanın yönergelerini güvenilir bir şekilde yerine getirir.
Yaygın kullanımlar: tarayıcıların yönetici alanlarından engellenmesi (/wp-admin/, /admin/), yinelenen içerik üreten yönlü arama URL'si parametrelerinin hariç tutulması, aşamalandırma veya geliştirme yollarının dizine eklenmesinin engellenmesi, site haritası konumunun bildirilmesi ve diğerlerini engellerken belirli kullanıcı aracılarına izin verilmesi. Dosya her tarama oturumunun başlangıcında okunur.
Bu oluşturucu, form girişlerinden sözdizimsel olarak doğru bir robots.txt dosyası oluşturur. Ortak kalıplar (tümüne izin ver, tümünü engelle, belirli yolları engelle) şablonlardır; Kullanıcı aracısı başına özel kurallar eklenebilir. Çıktı, site kökünüzün /robots.txt dosyasına gider.
Robots.txt dosyasının elle yazılması hataya açıktır. Sözdizimi hataları (büyük/küçük harf duyarlılığı, tam yol eşleşmesi, kuralların sıralanması) sessizce yanlış davranışlara neden olur; engellemek istediğiniz yollar taranmaya devam eder veya dizine eklenmesini istediğiniz yollar hariç tutulur. Doğru söz dizimini üreten bir oluşturucu bu tuzaklardan kaçınır.
robots.txt'nin diğer SEO araçlarıyla da ince etkileşimleri vardır. Robots.txt dosyasında bir yola izin verilmemesi, o yolun arama sonuçlarında görünmesini engellemez (Google, URL'yi taramadan dizine ekleyebilir); meta noindex, önce sayfanın taranmasını gerektirir. Hangi aracın hangi amaç için kullanılacağını bilmek; jeneratör size rehberlik edebilir.
Bir şablon seçin, özelleştirin, dağıtın.
Format: Kullanıcı aracısı: <ad> ve ardından İzin Ver/İzin Verme direktifleri. * tüm botlarla eşleşir. Belirli adlar (Googlebot, Bingbot) belirli tarayıcıları hedefler. Birden fazla Kullanıcı aracısı bloğu kuralları yığınlayabilir.
İzin verme: <path> verilen önekle başlayan yolları engeller. İzin verme: / sitenin tamamını engeller. İzin verme: /admin/, /admin/ altındaki her şeyi engeller. Sondaki eğik çizgi önemlidir; İzin verme: /admin (eğik çizgi yok) ayrıca /administrator ile eşleşir.
Tarama gecikmesi (saniye cinsinden) daha yavaş tarama gerektirir. Site Haritası (mutlak URL), site haritası konumunuzu bildirir. # bir yorum satırı başlatır.