محول مجاني
robots.txt منشئ
أنشئ ملف robots.txt لموقعك الإلكتروني فورًا. أضف قواعد وكيل المستخدم ومسارات السماح/الحظر وتأخير الزحف وعنوان URL لخريطة الموقع. منشئ robots.txt مجاني وفي الوقت الفعلي.
أنشئ ملف robots.txt لموقعك الإلكتروني فورًا. أضف قواعد وكيل المستخدم ومسارات السماح/الحظر وتأخير الزحف وعنوان URL لخريطة الموقع. منشئ robots.txt مجاني وفي الوقت الفعلي.
ملف robots.txt هو ملف نصي عادي موجود في جذر موقع الويب يخبر برامج الزحف بالمسارات التي قد يزورونها والمسارات التي يجب عليهم تجنبها. يعود تاريخ هذا التنسيق إلى عام 1994 ويدعمه تقريبًا كل محرك بحث وزاحف جيد التصرف. الملف استشاري - تتجاهله برامج الزحف الضارة - ولكن برامج الزحف الشرعية (Google، وBing، وما إلى ذلك) تحترم توجيهاته بشكل موثوق.
الاستخدامات الشائعة: حظر برامج الزحف من المناطق الإدارية (/wp-admin/، /admin/)، باستثناء معلمات عنوان URL للبحث ذات الأوجه التي تنتج محتوى مكررًا، ومنع فهرسة مسارات التدريج أو التطوير، والإعلان عن موقع خريطة الموقع، والسماح لوكلاء مستخدمين محددين أثناء حظر الآخرين. تتم قراءة الملف في بداية كل جلسة عمل تتبع الارتباطات.
ينشئ هذا المولد ملف robots.txt صحيحًا من الناحية النحوية من مدخلات النموذج. الأنماط الشائعة (السماح للكل، حظر الكل، حظر مسارات محددة) هي قوالب؛ يمكن إضافة قواعد مخصصة لكل وكيل مستخدم. ينتقل الإخراج إلى /robots.txt لجذر موقعك.
يعد ملف robots.txt المكتوب بخط اليد عرضة للخطأ. تؤدي أخطاء بناء الجملة (حساسية حالة الأحرف، والمطابقة الدقيقة للمسار، وترتيب القواعد) إلى حدوث سلوك خاطئ بصمت - تظل المسارات التي قصدت حظرها يتم الزحف إليها، أو يتم استبعاد المسارات التي تريد فهرستها. المولد الذي ينتج بناء الجملة الصحيح يتجنب هذه المخاطر.
يحتوي ملف robots.txt أيضًا على تفاعلات دقيقة مع أدوات تحسين محركات البحث الأخرى. لا يؤدي عدم السماح للمسار في ملف robots.txt إلى منعه من الظهور في نتائج البحث (قد يقوم Google بفهرسة عنوان URL دون الزحف إليه)؛ يتطلب meta noindex الزحف إلى الصفحة أولاً. معرفة الأداة التي يجب استخدامها لتحقيق أي غرض مهم؛ يمكن للمولد أن يرشدك.
اختر قالبًا، وقم بتخصيصه، ثم نشره.
التنسيق: وكيل المستخدم: <name> متبوعًا بتوجيهات السماح/عدم السماح. * يطابق جميع الروبوتات. تستهدف أسماء محددة (Googlebot، وBingbot) برامج زحف محددة. يمكن لكتل وكيل المستخدم المتعددة تكديس القواعد.
عدم السماح: <path> يحظر المسارات التي تبدأ بالبادئة المحددة. عدم السماح: / حظر الموقع بأكمله. عدم السماح: /admin/ يحظر أي شيء ضمن /admin/. الشرطة المائلة الزائدة مهمة؛ عدم السماح: /admin (بدون شرطة مائلة) يطابق أيضًا /administrator.
يتطلب تأخير الزحف (بالثواني) زحفًا أبطأ. يعلن ملف Sitemap (عنوان URL المطلق) عن موقع خريطة الموقع الخاص بك. # يبدأ سطر التعليق.