Мгновенно создайте файл robots.txt для вашего сайта. Добавляйте правила агентов пользователей, разрешённые/запрещённые пути, задержку сканирования и URL карты сайта. Бесплатный генератор robots.txt в реальном времени.
robots.txt — это простой текстовый файл в корне веб-сайта, который сообщает сканерам, какие пути они могут посещать, а каких следует избегать. Формат появился в 1994 году и поддерживается практически всеми поисковыми системами и порядочными сканерами. Файл является рекомендательным — вредоносные сканеры игнорируют его, но законные сканеры (Google, Bing и т. д.) надежно соблюдают его директивы.
Обычное использование: блокировка сканеров из областей администрирования (/wp-admin/, /admin/), исключение параметров URL-адреса фасетного поиска, которые создают дублированный контент, предотвращение индексации путей подготовки или разработки, объявление местоположения карты сайта и разрешение определенных пользовательских агентов при блокировке других. Файл считывается в начале каждого сеанса сканирования.
Этот генератор создает синтаксически правильный файл robots.txt на основе входных данных формы. Общие шаблоны (разрешить все, заблокировать все, заблокировать определенные пути) — это шаблоны; пользовательские правила могут быть добавлены для каждого пользовательского агента. Вывод идет в /robots.txt в корне вашего сайта.
При написании файла robots.txt от руки возможны ошибки. Синтаксические ошибки (чувствительность к регистру, точное сопоставление путей, порядок правил) незаметно приводят к неправильному поведению — пути, которые вы хотели заблокировать, продолжают сканироваться, или пути, которые вы хотели проиндексировать, исключаются. Генератор, создающий правильный синтаксис, позволяет избежать этих ошибок.
robots.txt также тонко взаимодействует с другими инструментами SEO. Запрет пути в файле robots.txt не предотвращает его появление в результатах поиска (Google может индексировать URL-адрес, не сканируя его); Meta noindex требует, чтобы страница была просканирована в первую очередь. Знание того, какой инструмент использовать для каких целей имеет значение; генератор может помочь вам.
Выберите шаблон, настройте, разверните.
Формат: Пользовательский агент: <имя>, за которым следуют директивы Allow/Disallow. * соответствует всем ботам. Конкретные имена (Googlebot, Bingbot) предназначены для конкретных сканеров. Несколько блоков User-agent могут объединять правила.
Запретить: <path> блокирует пути, начинающиеся с заданного префикса. Disallow: / блокирует весь сайт. Запретить: /admin/ блокирует все, что находится в /admin/. Завершающая косая черта имеет значение; Запретить: /admin (без косой черты) также соответствует /administrator.
Задержка сканирования (в секундах) запрашивает более медленное сканирование. Карта сайта (абсолютный URL) указывает местоположение вашей карты сайта. # запускает строку комментария.