مبدل رایگان
robots.txt ژنراتور
فوراً یک فایل robots.txt برای وب سایت خود ایجاد کنید. قوانین عامل کاربر، مسیرهای مجاز/غیر مجاز، تاخیر خزیدن و URL نقشه سایت را اضافه کنید. مولد رایگان و بلادرنگ robots.txt.
فوراً یک فایل robots.txt برای وب سایت خود ایجاد کنید. قوانین عامل کاربر، مسیرهای مجاز/غیر مجاز، تاخیر خزیدن و URL نقشه سایت را اضافه کنید. مولد رایگان و بلادرنگ robots.txt.
robots.txt یک فایل متنی ساده در ریشه یک وبسایت است که به خزندهها میگوید از کدام مسیرها بازدید کنند و از کدام مسیرها اجتناب کنند. این فرمت مربوط به سال 1994 است و تقریباً توسط هر موتور جستجو و خزنده خوش رفتار پشتیبانی می شود. فایل توصیهای است - خزندههای مخرب آن را نادیده میگیرند - اما خزندههای قانونی (گوگل، بینگ و غیره) دستورالعملهای آن را بهطور قابل اعتمادی رعایت میکنند.
کاربردهای متداول: مسدود کردن خزندهها از مناطق مدیریت (/wp-admin/، /admin/)، به استثنای پارامترهای URL جستجوی وجهی که محتوای تکراری تولید میکنند، جلوگیری از نمایهسازی مسیرهای مرحلهبندی یا توسعه، اعلام مکان نقشه سایت، و اجازه دادن به عوامل کاربر خاص در حین مسدود کردن دیگران. فایل در ابتدای هر جلسه خزیدن خوانده می شود.
این مولد یک robots.txt صحیح نحوی را از ورودی های فرم می سازد. الگوهای رایج (اجازه دادن به همه، مسدود کردن همه، مسدود کردن مسیرهای خاص) الگو هستند. قوانین سفارشی را می توان به ازای هر عامل کاربر اضافه کرد. خروجی در /robots.txt ریشه سایت شما قرار می گیرد.
robots.txt دست نویس مستعد خطا است. اشتباهات نحوی (حساسیت به حروف بزرگ، تطبیق دقیق مسیر، ترتیب قوانین) بیصدا رفتار اشتباهی ایجاد میکنند - مسیرهایی که میخواستید مسدود کنید خزیده میشوند، یا مسیرهایی که میخواهید فهرستبندی شوند حذف میشوند. ژنراتوری که نحو درستی تولید می کند، از این مشکلات جلوگیری می کند.
robots.txt همچنین تعاملات ظریفی با سایر ابزارهای SEO دارد. غیرمجاز کردن یک مسیر در robots.txt مانع از نمایش آن در نتایج جستجو نمی شود (Google ممکن است URL را بدون خزیدن در آن فهرست کند). meta noindex نیاز دارد که ابتدا صفحه خزیده شود. دانستن اینکه کدام ابزار برای کدام هدف مهم است. ژنراتور می تواند شما را راهنمایی کند.
یک الگو را انتخاب کنید، سفارشی کنید، استقرار کنید.
قالب: عامل کاربر: <name> به دنبال دستورات مجاز/غیر مجاز. * با همه ربات ها مطابقت دارد. نامهای خاص (Googlebot، Bingbot) خزندههای خاصی را هدف قرار میدهند. چندین بلوک عامل کاربر می توانند قوانین را روی هم قرار دهند.
Disallow: <path> مسیرهایی که با پیشوند داده شده شروع می شوند را مسدود می کند. Disallow: / کل سایت را مسدود می کند. Disallow: /admin/ هر چیزی را در زیر /admin/ مسدود می کند. موضوعات اسلش دنباله دار. Disallow: /admin (بدون اسلش) همچنین با /administrator مطابقت دارد.
تاخیر خزیدن (در ثانیه) درخواست خزیدن کندتر را دارد. نقشه سایت (URL مطلق) مکان نقشه سایت شما را اعلام می کند. # خط نظر را شروع می کند.