Any-Tools.net
Penukar Percuma

robots.txt Penjana

Hasilkan fail robots.txt untuk tapak web anda serta-merta. Tambahkan peraturan ejen pengguna, benarkan/tidak benarkan laluan, lengah-rangkak dan URL peta laman. Penjana robots.txt masa nyata percuma.

Tambah Peraturan

Dijana robots.txt

Alat Berkaitan

Lihat semua alatan

Teg Hreflang Penjana

Hasilkan tag hreflang untuk SEO antarabangsa. Buat teg pautan HTML, pengepala HTTP atau entri peta laman XML untuk tapak web berbilang bahasa. Penjana tag hreflang percuma.

Tag OG Penjana

Hasilkan tag meta Graf Terbuka untuk Facebook, Twitter dan LinkedIn. Penjana tag OG percuma dengan pratonton kad sosial secara langsung.

Tag Kad Twitter Penjana

Hasilkan tag meta Kad Twitter untuk perkongsian sosial yang lebih baik di X (Twitter). Penjana tag percuma dengan pratonton langsung dan salin ke papan keratan.

Penanda Skema (JSON-LD) Penjana

Hasilkan Penanda Skema data berstruktur (JSON-LD) untuk tapak web anda. Penjana JSON-LD percuma yang menyokong Artikel, LocalBusiness, Produk, Halaman Soalan Lazim, Acara dan banyak lagi.

Tentang alat ini

robots.txt ialah fail teks biasa di akar tapak web yang memberitahu perangkak jalan yang boleh mereka lawati dan yang harus mereka elakkan. Format ini bertarikh pada 1994 dan disokong oleh hampir setiap enjin carian dan perangkak yang berkelakuan baik. Fail itu adalah nasihat — perangkak berniat jahat mengabaikannya — tetapi perangkak yang sah (Google, Bing, dll.) mematuhi arahannya dengan pasti.

Kegunaan biasa: menyekat perangkak dari kawasan pentadbir (/wp-admin/, /admin/), tidak termasuk parameter URL carian bermuka yang menghasilkan kandungan pendua, menghalang pengindeksan laluan pementasan atau pembangunan, mengisytiharkan lokasi peta laman dan membenarkan ejen pengguna tertentu semasa menyekat orang lain. Fail dibaca pada permulaan setiap sesi merangkak.

Penjana ini membina robots.txt yang betul secara sintaksis daripada input borang. Corak biasa (benarkan semua, sekat semua, sekat laluan tertentu) ialah templat; peraturan tersuai boleh ditambah bagi setiap ejen pengguna. Output pergi di /robots.txt akar tapak anda.

Mengapa Menggunakan Penjana robots.txt

Robots.txt tulisan tangan mudah ralat. Kesilapan sintaks (kepekaan huruf besar, padanan laluan tepat, susunan peraturan) secara senyap menghasilkan gelagat yang salah — laluan yang anda ingin sekat kekal dirangkak atau laluan yang anda mahu diindeks dikecualikan. Penjana yang menghasilkan sintaks yang betul mengelakkan perangkap ini.

robots.txt juga mempunyai interaksi halus dengan alat SEO lain. Tidak membenarkan laluan dalam robots.txt tidak menghalangnya daripada muncul dalam hasil carian (Google mungkin mengindeks URL tanpa merangkaknya); meta noindex memerlukan halaman dirangkak terlebih dahulu. Mengetahui alat mana yang hendak digunakan untuk tujuan yang penting; penjana boleh membimbing anda.

Cara menggunakan

Pilih templat, sesuaikan, gunakan.

  1. Pilih templat permulaan: Benarkan semua (postur merangkak-segala-galanya lalai), Sekat semua (sekat segala-galanya daripada pengindeksan), atau Tersuai (bermula daripada peraturan yang anda tentukan).
  2. Tambahkan peraturan ejen pengguna: Tidak benarkan laluan khusus untuk semua perangkak atau untuk bot bernama khusus (Googlebot, Bingbot, GPTBot). Setiap blok ejen pengguna mempunyai set arahan Benarkan dan Tidak Benarkan sendiri.
  3. Tambah URL peta laman: Sertakan URL mutlak peta laman XML anda. Crawler menggunakan ini untuk menemui URL yang mungkin mereka terlepas sebaliknya.
  4. Simpan dan gunakan: Muat turun fail yang dijana. Muat naik ke akar domain anda (supaya ia muncul di https://example.com/robots.txt). Sahkan dengan melawati URL tersebut dalam penyemak imbas.

Kes Penggunaan Biasa

Butiran Teknikal

Format: Ejen pengguna: <nama> diikuti dengan arahan Benarkan/Tidak Benar. * sepadan dengan semua bot. Nama khusus (Googlebot, Bingbot) menyasarkan perangkak tertentu. Berbilang blok ejen Pengguna boleh menyusun peraturan.

Larang: <path> menyekat laluan bermula dengan awalan yang diberikan. Disallow: / menyekat keseluruhan tapak. Disallow: /admin/ menyekat apa sahaja di bawah /admin/. Perkara tebas mengekori; Disallow: /admin (tiada slash) juga sepadan dengan /administrator.

Lengah-rangkak (dalam saat) meminta rangkak yang lebih perlahan. Peta laman (URL mutlak) mengisytiharkan lokasi peta laman anda. # memulakan baris ulasan.

Amalan Terbaik

Soalan lazim

Bolehkah saya menyesuaikan output yang dihasilkan?
ya. Alat ini menyediakan pelbagai pilihan penyesuaian untuk menyesuaikan output dengan keperluan khusus anda. Laraskan tetapan sebelum menjana, atau jana semula dengan pilihan yang berbeza.
Adakah kandungan yang dihasilkan percuma untuk digunakan?
ya. Semua yang anda jana dengan alat ini adalah milik anda untuk digunakan untuk tujuan peribadi, pendidikan atau komersial tanpa sebarang sekatan atau keperluan atribusi.
Adakah ini memerlukan akaun?
Tidak. Alat ini sedia untuk digunakan serta-merta tanpa pendaftaran, tanpa e-mel dan tanpa pendaftaran. Hanya buka halaman dan mula menjana.
Adakah data input saya dirahsiakan?
ya. Semua pemprosesan berlaku dalam penyemak imbas anda. Data input dan output yang dijana anda tidak pernah dihantar ke mana-mana pelayan luaran.
Bagaimanakah cara saya menyekat satu bot tetapi membenarkan yang lain?
Asingkan blok ejen Pengguna. Ejen pengguna: BadBot diikuti dengan Disallow: / menyekat BadBot. Ejen pengguna: * dengan Benarkan: / membenarkan orang lain.
Adakah robots.txt sensitif huruf besar-besaran?
Padanan laluan adalah sensitif huruf besar. Disallow: /Admin tidak sepadan /admin. Padankan kes sebenar URL anda.
Adakah Crawl-delay sebenarnya memperlahankan Google?
Google tidak menghormati Crawl-delay. Ia menghormati tetapan kadar rangkak dalam Konsol Carian. Perangkak lain (Bing, Yandex) menghormati Crawl-delay.
Adakah data saya dimuat naik?
Tidak. Penjanaan berlaku dalam penyemak imbas anda.

Related Articles

Content & SEO

Text & SEO Tools Every Content Creator Needs

A practical guide to text analysis and SEO tools including word counters, keyword density checkers, case converters, and readability analyzers for content creators and marketers.

8 min readPrivacy & Technology

Why Browser-Based Tools Are the Future: No Installs, No Uploads, No Risk

Discover why browser-based tools are replacing desktop software and cloud uploads. Learn how client-side processing keeps your files private while delivering powerful functionality.

7 min read