ממיר חינם
robots.txt גנרטור
צור קובץ robots.txt עבור האתר שלך באופן מיידי. הוסף כללי משתמש-סוכן, אפשר/אסור נתיבים, עיכוב סריקה וכתובת אתר של מפת אתר. מחולל robots.txt חינמי בזמן אמת.
צור קובץ robots.txt עבור האתר שלך באופן מיידי. הוסף כללי משתמש-סוכן, אפשר/אסור נתיבים, עיכוב סריקה וכתובת אתר של מפת אתר. מחולל robots.txt חינמי בזמן אמת.
robots.txt הוא קובץ טקסט רגיל בבסיס אתר אינטרנט, שאומר לסורקים באילו נתיבים הם עשויים לבקר ומאילו עליהם להימנע. הפורמט מתוארך לשנת 1994 ונתמך כמעט על ידי כל מנוע חיפוש וסורק מתנהג היטב. הקובץ הוא מייעץ - סורקים זדוניים מתעלמים ממנו - אבל סורקים לגיטימיים (גוגל, בינג וכו') מכבדים את ההנחיות שלו בצורה מהימנה.
שימושים נפוצים: חסימת סורקים מאזורי ניהול (/wp-admin/, /admin/), לא כולל פרמטרים של כתובות אתרים של חיפוש היבטים המייצרים תוכן כפול, מניעת אינדקס של נתיבי הבמה או פיתוח, הכרזה על מיקום מפת האתר ואפשרות לסוכני משתמש ספציפיים תוך חסימת אחרים. הקובץ נקרא בתחילת כל סשן סריקה.
מחולל זה בונה robots.txt תקין מבחינה תחבירית מכניסות טופס. דפוסים נפוצים (אפשר הכל, חסום הכל, חסום נתיבים ספציפיים) הם תבניות; ניתן להוסיף כללים מותאמים אישית לכל סוכן משתמש. הפלט עובר אל /robots.txt של שורש האתר שלך.
robots.txt בכתב יד מועד לשגיאות. שגיאות תחביר (רגישות רישיות, התאמה מדויקת של נתיבים, סדר כללים) מייצרות התנהגות שגויה בשקט - נתיבים שהתכוונת לחסום נשארים סרוקים, או שבילים שרצית לאינדקס לא ייכללו. מחולל שמייצר תחביר נכון נמנע מהמלכודות הללו.
ל-robots.txt יש גם אינטראקציות עדינות עם כלי SEO אחרים. אי אישור נתיב ב-robots.txt אינו מונע ממנו להופיע בתוצאות החיפוש (גוגל עשויה להוסיף לאינדקס את כתובת האתר מבלי לסרוק אותה); meta noindex מחייב את הדף להיסרק תחילה. לדעת באיזה כלי להשתמש לאיזו כוונה חשובה; המחולל יכול להדריך אותך.
בחר תבנית, התאם אישית, פרוס.
פורמט: User-agent: <name> ואחריו הוראות Allow/Disallow. * מתאים לכל הבוטים. שמות ספציפיים (Googlebot, Bingbot) מכוונים לסורקים ספציפיים. בלוקים מרובים של User-agent יכולים לערום כללים.
Disallow: <path> חוסם נתיבים שמתחילים בקידומת הנתונה. Disallow: / חוסם את האתר כולו. Disallow: /admin/ חוסם כל דבר תחת /admin/. נגרר ענייני לוכסן; Disallow: /admin (ללא קו נטוי) מתאים גם ל-/administrator.
עיכוב סריקה (בשניות) מבקש סריקה איטית יותר. מפת אתר (כתובת אתר מוחלטת) מצהירה על מיקום מפת האתר שלך. # מתחיל שורת הערות.