বিনামূল্যে কনভার্টার
robots.txt জেনারেটর
আপনার ওয়েবসাইটের জন্য তাৎক্ষণিকভাবে robots.txt ফাইল তৈরি করুন। ইউজার-এজেন্ট নিয়ম, অনুমতি/অস্বীকার পাথ, ক্রল-বিলম্ব এবং সাইটম্যাপ URL যোগ করুন। বিনামূল্যে রিয়েল-টাইম robots.txt জেনারেটর।
আপনার ওয়েবসাইটের জন্য তাৎক্ষণিকভাবে robots.txt ফাইল তৈরি করুন। ইউজার-এজেন্ট নিয়ম, অনুমতি/অস্বীকার পাথ, ক্রল-বিলম্ব এবং সাইটম্যাপ URL যোগ করুন। বিনামূল্যে রিয়েল-টাইম robots.txt জেনারেটর।
robots.txt হল একটি ওয়েবসাইটের মূলে একটি প্লেইন টেক্সট ফাইল যা ক্রলারদের বলে যে তারা কোন পথে যেতে পারে এবং কোনটি তাদের এড়িয়ে চলা উচিত। বিন্যাসটি 1994 তারিখের এবং কার্যত প্রতিটি সার্চ ইঞ্জিন এবং ভাল আচরণ করা ক্রলার দ্বারা সমর্থিত। ফাইলটি উপদেশমূলক — দূষিত ক্রলাররা এটিকে উপেক্ষা করে — কিন্তু বৈধ ক্রলাররা (Google, Bing, ইত্যাদি) এর নির্দেশাবলীকে নির্ভরযোগ্যভাবে সম্মান করে৷
সাধারণ ব্যবহার: অ্যাডমিন এলাকা (/wp-admin/, /admin/) থেকে ক্রলার ব্লক করা, ডুপ্লিকেট কন্টেন্ট তৈরি করে এমন ফেসেড সার্চ ইউআরএল প্যারামিটার বাদ দেওয়া, স্টেজিং বা ডেভেলপমেন্ট পাথের ইন্ডেক্সিং প্রতিরোধ করা, সাইটম্যাপ অবস্থান ঘোষণা করা এবং অন্যদের ব্লক করার সময় নির্দিষ্ট ব্যবহারকারী এজেন্টদের অনুমতি দেওয়া। প্রতিটি ক্রল সেশনের শুরুতে ফাইলটি পড়া হয়।
এই জেনারেটর ফর্ম ইনপুট থেকে একটি সিনট্যাক্টিক্যালি সঠিক robots.txt তৈরি করে। সাধারণ প্যাটার্নগুলি (সমস্তকে অনুমতি দিন, সমস্ত ব্লক করুন, নির্দিষ্ট পথগুলি ব্লক করুন) হল টেমপ্লেট; কাস্টম নিয়ম ব্যবহারকারী এজেন্ট প্রতি যোগ করা যেতে পারে. আউটপুট আপনার সাইট রুটের /robots.txt এ যায়।
হাতে লেখা robots.txt ত্রুটি-প্রবণ। সিনট্যাক্সের ভুলগুলি (কেস সংবেদনশীলতা, সঠিক পাথ ম্যাচিং, নিয়মের ক্রম) নীরবে ভুল আচরণ তৈরি করে — আপনি যে পথগুলিকে ব্লক করতে চান সেগুলি ক্রল করা থাকে, বা আপনি যে পথগুলিকে সূচিত করতে চান সেগুলি বাদ দেওয়া হয়৷ একটি জেনারেটর যা সঠিক সিনট্যাক্স তৈরি করে এই ত্রুটিগুলি এড়িয়ে যায়।
robots.txt-এর অন্যান্য এসইও টুলের সাথেও সূক্ষ্ম মিথস্ক্রিয়া রয়েছে। robots.txt-এ একটি পাথের অনুমতি না দেওয়া এটিকে সার্চের ফলাফলে প্রদর্শিত হতে বাধা দেয় না (Google এটিকে ক্রল না করেই ইউআরএলকে সূচী করতে পারে); meta noindex-এর জন্য প্রথমে পৃষ্ঠাটি ক্রল করা প্রয়োজন। কোন হাতিয়ারটি কোন উদ্দেশ্যের জন্য ব্যবহার করতে হবে তা জানা; জেনারেটর আপনাকে গাইড করতে পারে।
একটি টেমপ্লেট চয়ন করুন, কাস্টমাইজ করুন, স্থাপন করুন।
বিন্যাস: ব্যবহারকারী-এজেন্ট: <name> এর পরে অনুমতি/অস্বীকৃতি নির্দেশাবলী। * সব বট মেলে। নির্দিষ্ট নাম (Googlebot, Bingbot) নির্দিষ্ট ক্রলারদের লক্ষ্য করে। একাধিক ব্যবহারকারী-এজেন্ট ব্লক নিয়ম স্ট্যাক করতে পারে।
অনুমতি না দেওয়া: <path> প্রদত্ত উপসর্গ দিয়ে শুরু হওয়া পথগুলিকে ব্লক করে। অনুমতি না দেওয়া: / সম্পূর্ণ সাইট ব্লক করে। অনুমতি না দেওয়া: /admin/ /admin/ এর অধীনে যেকোনো কিছু ব্লক করে। ট্রেলিং স্ল্যাশ বিষয়; ডিসঅ্যালো: /অ্যাডমিন (কোনও স্ল্যাশ নেই) এছাড়াও /প্রশাসকের সাথে মেলে।
ক্রল-বিলম্ব (সেকেন্ডে) ধীর ক্রল করার অনুরোধ করে। সাইটম্যাপ (পরম URL) আপনার সাইটম্যাপের অবস্থান ঘোষণা করে। # একটি মন্তব্য লাইন শুরু হয়।