مفت کنورٹر
robots.txt جنریٹر
اپنی ویب سائٹ کے لیے فوری طور پر ایک robots.txt فائل بنائیں۔ صارف کے ایجنٹ کے قواعد شامل کریں، راستوں کی اجازت/منظور کریں، کرال میں تاخیر، اور سائٹ کا نقشہ URL۔ مفت، ریئل ٹائم robots.txt جنریٹر۔
اپنی ویب سائٹ کے لیے فوری طور پر ایک robots.txt فائل بنائیں۔ صارف کے ایجنٹ کے قواعد شامل کریں، راستوں کی اجازت/منظور کریں، کرال میں تاخیر، اور سائٹ کا نقشہ URL۔ مفت، ریئل ٹائم robots.txt جنریٹر۔
robots.txt ویب سائٹ کی جڑ میں ایک سادہ ٹیکسٹ فائل ہے جو کرالر کو بتاتی ہے کہ وہ کن راستوں پر جا سکتے ہیں اور کن سے بچنا چاہیے۔ فارمیٹ کی تاریخ 1994 ہے اور اسے عملی طور پر ہر سرچ انجن اور اچھے سلوک کرنے والے کرالر کی حمایت حاصل ہے۔ فائل ایڈوائزری ہے — بدنیتی پر مبنی کرالر اسے نظر انداز کر دیتے ہیں — لیکن جائز کرالر (گوگل، بنگ، وغیرہ) اس کی ہدایات کا قابل اعتماد طریقے سے احترام کرتے ہیں۔
عام استعمال: ایڈمن ایریاز (/wp-admin/, /admin/) سے کرالر کو مسدود کرنا، ڈپلیکیٹ مواد تیار کرنے والے پہلو والے سرچ URL پیرامیٹرز کو چھوڑ کر، سٹیجنگ یا ڈیولپمنٹ پاتھز کی انڈیکسنگ کو روکنا، سائٹ کے نقشے کے مقام کا اعلان کرنا، اور دوسروں کو بلاک کرتے وقت مخصوص صارف ایجنٹوں کو اجازت دینا۔ فائل کو ہر کرال سیشن کے شروع میں پڑھا جاتا ہے۔
یہ جنریٹر فارم ان پٹس سے مصنوعی طور پر درست robots.txt بناتا ہے۔ عام پیٹرن (سب کو اجازت دیں، سبھی کو بلاک کریں، مخصوص راستے بلاک کریں) ٹیمپلیٹس ہیں۔ اپنی مرضی کے قوانین فی صارف ایجنٹ شامل کیے جا سکتے ہیں۔ آؤٹ پٹ آپ کی سائٹ روٹ کے /robots.txt پر جاتا ہے۔
ہاتھ سے لکھنے والا robots.txt غلطی کا شکار ہے۔ نحو کی غلطیاں (کیس کی حساسیت، درست راستے کی مماثلت، قواعد کی ترتیب) خاموشی سے غلط رویہ پیدا کرتی ہیں — جن راستے کو آپ بلاک کرنا چاہتے تھے وہ رینگتے رہتے ہیں، یا وہ راستے خارج ہوجاتے ہیں جنہیں آپ انڈیکس کرنا چاہتے تھے۔ ایک جنریٹر جو درست نحو تیار کرتا ہے وہ ان خرابیوں سے بچتا ہے۔
robots.txt دوسرے SEO ٹولز کے ساتھ بھی لطیف تعاملات رکھتا ہے۔ robots.txt میں کسی راستے کی اجازت دینے سے اسے تلاش کے نتائج میں ظاہر ہونے سے نہیں روکتا (گوگل یو آر ایل کو رینگے بغیر انڈیکس کر سکتا ہے)؛ meta noindex کے لیے صفحہ کو پہلے کرال کرنے کی ضرورت ہے۔ یہ جاننا کہ کون سا ٹول کس مقصد کے لیے استعمال کرنا ہے؛ جنریٹر آپ کی رہنمائی کرسکتا ہے۔
ایک ٹیمپلیٹ چنیں، اپنی مرضی کے مطابق بنائیں، تعینات کریں۔
فارمیٹ: یوزر-ایجنٹ: <name> اس کے بعد Allow/Disallow کی ہدایات۔ * تمام بوٹس سے میل کھاتا ہے۔ مخصوص نام (Googlebot، Bingbot) مخصوص کرالر کو ہدف بناتے ہیں۔ ایک سے زیادہ یوزر-ایجنٹ بلاکس قوانین کو اسٹیک کر سکتے ہیں۔
اجازت نہ دیں: <path> دیے گئے سابقہ سے شروع ہونے والے راستوں کو روکتا ہے۔ نامنظور: / پوری سائٹ کو بلاک کرتا ہے۔ اجازت نہ دیں: /admin/ /admin/ کے تحت کسی بھی چیز کو روکتا ہے۔ ٹریلنگ سلیش معاملات؛ اجازت نہ دیں: /admin (کوئی سلیش نہیں) بھی /ایڈمنسٹریٹر سے میل کھاتا ہے۔
کرال میں تاخیر (سیکنڈوں میں) سست رینگنے کی درخواست کرتی ہے۔ سائٹ کا نقشہ (مطلق URL) آپ کے سائٹ کے نقشے کے مقام کا اعلان کرتا ہے۔ # ایک تبصرہ لائن شروع کرتا ہے۔