Незабавно генерирайте файл robots.txt за вашия уебсайт. Добавете правила за потребителски агент, разрешаване/забрана на пътища, забавяне при обхождане и URL адрес на карта на сайта. Безплатен генератор на robots.txt в реално време.
robots.txt е обикновен текстов файл в основата на уебсайт, който казва на роботите кои пътища могат да посетят и кои трябва да избягват. Форматът датира от 1994 г. и се поддържа от почти всяка търсачка и работещ робот. Файлът е препоръчителен - злонамерените роботи го игнорират - но легитимните роботи (Google, Bing и т.н.) спазват неговите директиви надеждно.
Обичайни употреби: блокиране на роботи от администраторски зони (/wp-admin/, /admin/), изключване на URL параметри на фасетно търсене, които произвеждат дублирано съдържание, предотвратяване на индексиране на етапни или развойни пътища, деклариране на местоположение в карта на сайта и разрешаване на конкретни потребителски агенти, докато блокира други. Файлът се чете в началото на всяка сесия на обхождане.
Този генератор изгражда синтактично правилен robots.txt от входни данни на формуляр. Често срещаните модели (разрешаване на всички, блокиране на всички, блокиране на определени пътища) са шаблони; потребителски правила могат да се добавят за потребителски агент. Изходът отива в /robots.txt на корена на вашия сайт.
Ръкописното писане на robots.txt е податливо на грешки. Синтаксичните грешки (чувствителност към малки и главни букви, точно съвпадение на пътеки, подреждане на правила) безшумно водят до погрешно поведение - пътищата, които сте искали да блокирате, остават обхождани или пътищата, които сте искали да индексирате, се изключват. Генератор, който произвежда правилен синтаксис, избягва тези капани.
robots.txt също има фини взаимодействия с други SEO инструменти. Забраната на път в robots.txt не му пречи да се показва в резултатите от търсенето (Google може да индексира URL адреса, без да го обхожда); meta noindex изисква първо страницата да бъде обходена. Да знаете кой инструмент да използвате за кое намерение има значение; генераторът може да ви напътства.
Изберете шаблон, персонализирайте, разположете.
Формат: Потребителски агент: <име>, последвано от директиви Allow/Disallow. * отговаря на всички ботове. Конкретни имена (Googlebot, Bingbot) са насочени към конкретни роботи. Множество блокове на потребителски агент могат да подреждат правила.
Disallow: <path> блокира пътища, започващи с дадения префикс. Disallow: / блокира целия сайт. Disallow: /admin/ блокира всичко под /admin/. Крайната наклонена черта има значение; Disallow: /admin (без наклонена черта) също съответства на /administrator.
Забавянето при обхождане (в секунди) изисква по-бавно обхождане. Sitemap (абсолютен URL адрес) декларира местоположението на вашата карта на сайта. # започва ред за коментар.