แปลงฟรี
robots.txt เครื่องกำเนิดไฟฟ้า
สร้างไฟล์ robots.txt สำหรับเว็บไซต์ของคุณทันที เพิ่มกฎตัวแทนผู้ใช้ อนุญาต/ไม่อนุญาตเส้นทาง การรวบรวมข้อมูลล่าช้า และ URL แผนผังเว็บไซต์ โปรแกรมสร้าง robots.txt แบบเรียลไทม์ฟรี
สร้างไฟล์ robots.txt สำหรับเว็บไซต์ของคุณทันที เพิ่มกฎตัวแทนผู้ใช้ อนุญาต/ไม่อนุญาตเส้นทาง การรวบรวมข้อมูลล่าช้า และ URL แผนผังเว็บไซต์ โปรแกรมสร้าง robots.txt แบบเรียลไทม์ฟรี
robots.txt เป็นไฟล์ข้อความธรรมดาที่รากของเว็บไซต์ที่บอกโปรแกรมรวบรวมข้อมูลว่าตนอาจเข้าชมเส้นทางใดและควรหลีกเลี่ยงเส้นทางใด รูปแบบนี้เริ่มตั้งแต่ปี 1994 และได้รับการสนับสนุนจากเสิร์ชเอ็นจิ้นและโปรแกรมรวบรวมข้อมูลที่มีพฤติกรรมดีเกือบทุกตัว ไฟล์นี้เป็นคำแนะนำ — โปรแกรมรวบรวมข้อมูลที่เป็นอันตรายจะเพิกเฉย — แต่โปรแกรมรวบรวมข้อมูลที่ถูกต้องตามกฎหมาย (Google, Bing ฯลฯ) เคารพคำสั่งของมันอย่างน่าเชื่อถือ
การใช้งานทั่วไป: การบล็อกโปรแกรมรวบรวมข้อมูลจากพื้นที่ผู้ดูแลระบบ (/wp-admin/, /admin/) ยกเว้นพารามิเตอร์ URL การค้นหาแบบ faceted ที่สร้างเนื้อหาที่ซ้ำกัน การป้องกันการจัดทำดัชนีเส้นทางชั่วคราวหรือการพัฒนา การประกาศตำแหน่งแผนผังเว็บไซต์ และการอนุญาตตัวแทนผู้ใช้เฉพาะในขณะที่บล็อกผู้อื่น ไฟล์จะถูกอ่านเมื่อเริ่มต้นเซสชันการรวบรวมข้อมูลแต่ละครั้ง
ตัวสร้างนี้สร้าง robots.txt ที่ถูกต้องตามหลักไวยากรณ์จากอินพุตแบบฟอร์ม รูปแบบทั่วไป (อนุญาตทั้งหมด บล็อกทั้งหมด บล็อกเส้นทางเฉพาะ) เป็นเทมเพลต กฎที่กำหนดเองสามารถเพิ่มได้ต่อตัวแทนผู้ใช้ ผลลัพธ์จะไปที่ /robots.txt ของรูทไซต์ของคุณ
robots.txt ที่เขียนด้วยลายมือมีแนวโน้มที่จะเกิดข้อผิดพลาด ข้อผิดพลาดทางไวยากรณ์ (การพิจารณาตัวพิมพ์เล็กและตัวพิมพ์ใหญ่ การจับคู่เส้นทางที่แน่นอน การเรียงลำดับกฎ) ทำให้เกิดพฤติกรรมที่ไม่ถูกต้อง โดยไม่ได้ตั้งใจ — เส้นทางที่คุณต้องการบล็อกยังคงถูกรวบรวมข้อมูล หรือเส้นทางที่คุณต้องการจัดทำดัชนีจะถูกแยกออก ตัวสร้างที่สร้างไวยากรณ์ที่ถูกต้องจะหลีกเลี่ยงข้อผิดพลาดเหล่านี้
robots.txt ยังมีการโต้ตอบที่ละเอียดอ่อนกับเครื่องมือ SEO อื่นๆ อีกด้วย การไม่อนุญาตเส้นทางใน robots.txt ไม่ได้ขัดขวางไม่ให้ปรากฏในผลการค้นหา (Google อาจจัดทำดัชนี URL โดยไม่รวบรวมข้อมูล) meta noindex กำหนดให้รวบรวมข้อมูลหน้าเว็บก่อน รู้ว่าเครื่องมือใดที่จะใช้สำหรับจุดประสงค์ที่สำคัญ เครื่องกำเนิดไฟฟ้าสามารถแนะนำคุณได้
เลือกเทมเพลต ปรับแต่ง ปรับใช้
รูปแบบ: User-agent: <name> ตามด้วยคำสั่ง Allow/Disallow * ตรงกับบอททั้งหมด ชื่อเฉพาะ (Googlebot, Bingbot) กำหนดเป้าหมายไปยังโปรแกรมรวบรวมข้อมูลเฉพาะ การบล็อก User-agent หลายรายการสามารถซ้อนกฎได้
ไม่อนุญาต: <path> บล็อกเส้นทางที่ขึ้นต้นด้วยคำนำหน้าที่กำหนด Disallow: / บล็อกทั้งไซต์ Disallow: /admin/ บล็อกทุกสิ่งภายใต้ /admin/ เรื่องสแลชต่อท้าย; ไม่อนุญาต: /admin (ไม่มีเครื่องหมายทับ) จะจับคู่ /administrator ด้วย
การรวบรวมข้อมูลล่าช้า (เป็นวินาที) ร้องขอให้รวบรวมข้อมูลช้าลง แผนผังไซต์ (URL สัมบูรณ์) ประกาศตำแหน่งแผนผังไซต์ของคุณ #เริ่มบรรทัดแสดงความคิดเห็น