Миттєво згенеруйте файл robots.txt для свого сайту. Додайте правила агента користувача, дозвольте/забороніть шляхи, затримку сканування та URL-адресу карти сайту. Безкоштовний генератор robots.txt у реальному часі.
robots.txt — це простий текстовий файл у корені веб-сайту, який повідомляє сканерам, які шляхи вони можуть відвідувати, а яких слід уникати. Формат датується 1994 роком і підтримується практично всіма пошуковими системами та добре поведеними сканерами. Файл є рекомендаційним — зловмисні сканери ігнорують його, — але законні сканери (Google, Bing тощо) надійно дотримуються його директив.
Загальне використання: блокування сканерів із областей адміністратора (/wp-admin/, /admin/), виключення параметрів URL-адреси фасетного пошуку, які створюють повторюваний вміст, запобігання індексації проміжних шляхів або шляхів розробки, оголошення розташування на карті сайту та дозвіл певних агентів користувача, одночасно блокуючи інші. Файл читається на початку кожного сеансу сканування.
Цей генератор створює синтаксично правильний robots.txt із вхідних даних форми. Загальні шаблони (дозволити все, заблокувати всі, заблокувати певні шляхи) є шаблонами; спеціальні правила можна додавати для кожного агента користувача. Вихід надходить у /robots.txt кореневої частини вашого сайту.
Рукописний файл robots.txt схильний до помилок. Синтаксичні помилки (чутливість до регістру, точна відповідність шляху, порядок правил) мовчки спричиняють неправильну поведінку — шляхи, які ви хотіли заблокувати, залишаються сканованими, або шляхи, які ви хотіли проіндексувати, виключаються. Генератор, який створює правильний синтаксис, уникає цих пасток.
robots.txt також тонко взаємодіє з іншими інструментами SEO. Заборона шляху в robots.txt не перешкоджає його відображенню в результатах пошуку (Google може індексувати URL-адресу, не скануючи її); meta noindex вимагає, щоб сторінка була просканована спочатку. Важливо знати, який інструмент використовувати з якою метою; генератор може допомогти вам.
Виберіть шаблон, налаштуйте, розгорніть.
Формат: агент користувача: <ім'я> з наступними директивами Allow/Disallow. * відповідає всім ботам. Конкретні імена (Googlebot, Bingbot) націлені на певних сканерів. Кілька блоків User-Agent можуть складати правила.
Disallow: <path> блокує шляхи, що починаються з указаного префікса. Disallow: / блокує весь сайт. Disallow: /admin/ блокує будь-що в /admin/. Кінцева коса лінія має значення; Заборонити: /admin (без косої риски) також відповідає /administrator.
Затримка сканування (у секундах) запитує повільніше сканування. Карта сайту (абсолютна URL-адреса) вказує ваше розташування на карті сайту. # починає рядок коментаря.