Any-Tools.net
Konverter Gratis

robots.txt Generator

Buat file robots.txt untuk situs web Anda secara instan. Tambahkan aturan agen pengguna, jalur izin/larang, penundaan perayapan, dan URL peta situs. Generator robots.txt gratis dan real-time.

Tambah Aturan

robots.txt yang dihasilkan

Alat Terkait

Lihat semua alat

Generator Tag Hreflang

Hasilkan tag Hreflang untuk SEO internasional. Buat tag HTML link, header HTTP, atau entri sitemap XML untuk situs web multibahasa. Generator tag Hreflang gratis.

Generator Tag OG

Buat meta tag Open Graph untuk Facebook, Twitter, dan LinkedIn. Generator tag OG gratis dengan pratinjau kartu sosial secara langsung.

Generator Tag Twitter Card

Buat meta tag Twitter Card untuk berbagi sosial yang lebih baik di X (Twitter). Generator tag gratis dengan pratinjau langsung dan salin ke clipboard.

Schema Markup (JSON-LD) Generator

Buat data terstruktur Schema Markup (JSON-LD) untuk situs web Anda. Generator JSON-LD gratis yang mendukung Article, LocalBusiness, Product, FAQPage, Event, dan lainnya.

Tentang alat ini

robots.txt adalah file teks biasa di root situs web yang memberi tahu crawler jalur mana yang boleh mereka kunjungi dan mana yang harus mereka hindari. Format ini dibuat pada tahun 1994 dan didukung oleh hampir semua mesin pencari dan perayap yang berperilaku baik. File ini bersifat nasihat — perayap jahat mengabaikannya — tetapi perayap yang sah (Google, Bing, dll.) mematuhi arahannya dengan andal.

Kegunaan umum: memblokir perayap dari area admin (/wp-admin/, /admin/), mengecualikan parameter URL pencarian tersaring yang menghasilkan konten duplikat, mencegah pengindeksan jalur pementasan atau pengembangan, mendeklarasikan lokasi peta situs, dan mengizinkan agen pengguna tertentu sambil memblokir yang lain. File dibaca pada awal setiap sesi perayapan.

Generator ini membuat robots.txt yang benar secara sintaksis dari masukan formulir. Pola umum (izinkan semua, blokir semua, blokir jalur tertentu) adalah templat; aturan khusus dapat ditambahkan per agen pengguna. Outputnya berada di /robots.txt dari root situs Anda.

Mengapa Menggunakan Generator robots.txt

Robots.txt tulisan tangan rawan kesalahan. Kesalahan sintaksis (sensitivitas huruf besar/kecil, pencocokan jalur yang tepat, urutan aturan) secara diam-diam menghasilkan perilaku yang salah — jalur yang ingin Anda blokir tetap dirayapi, atau jalur yang ingin Anda indeks akan dikecualikan. Generator yang menghasilkan sintaksis yang benar akan menghindari jebakan ini.

robots.txt juga memiliki interaksi halus dengan alat SEO lainnya. Melarang jalur di robots.txt tidak mencegah jalur tersebut muncul di hasil penelusuran (Google dapat mengindeks URL tanpa meng-crawlnya); meta noindex mengharuskan halaman dirayapi terlebih dahulu. Mengetahui alat mana yang digunakan untuk tujuan mana yang penting; generator dapat memandu Anda.

Cara menggunakan

Pilih templat, sesuaikan, terapkan.

  1. Pilih templat awal: Izinkan semua (postur perayapan default), Blokir semua (blokir semuanya dari pengindeksan), atau Kustom (mulai dari aturan yang Anda tentukan).
  2. Tambahkan aturan agen pengguna: Larang jalur tertentu untuk semua perayap, atau untuk bot bernama tertentu (Googlebot, Bingbot, GPTBot). Setiap blok agen pengguna memiliki kumpulan arahan Izinkan dan Larangnya sendiri.
  3. Tambahkan URL peta situs: Sertakan URL absolut peta situs XML Anda. Perayap menggunakan ini untuk menemukan URL yang mungkin mereka lewatkan.
  4. Simpan dan terapkan: Unduh file yang dihasilkan. Unggah ke root domain Anda (sehingga muncul di https://example.com/robots.txt). Verifikasi dengan mengunjungi URL tersebut di browser.

Kasus Penggunaan Umum

Detail Teknis

Format: Agen pengguna: <nama> diikuti dengan perintah Izinkan/Larang. * cocok dengan semua bot. Nama tertentu (Googlebot, Bingbot) menargetkan crawler tertentu. Beberapa blok Agen-pengguna dapat menumpuk aturan.

Disallow: <path> memblokir jalur yang dimulai dengan awalan tertentu. Disallow: / memblokir seluruh situs. Larang: /admin/ memblokir apa pun di bawah /admin/. Garis miring itu penting; Larang: /admin (tanpa garis miring) juga cocok dengan /administrator.

Penundaan perayapan (dalam detik) meminta perayapan lebih lambat. Peta Situs (URL absolut) menyatakan lokasi peta situs Anda. # memulai baris komentar.

Praktik Terbaik

Pertanyaan yang sering diajukan

Bisakah saya menyesuaikan keluaran yang dihasilkan?
Ya. Alat ini menyediakan berbagai opsi penyesuaian untuk menyesuaikan keluaran dengan kebutuhan spesifik Anda. Sesuaikan pengaturan sebelum membuat, atau buat ulang dengan opsi berbeda.
Apakah konten yang dihasilkan gratis untuk digunakan?
Ya. Segala sesuatu yang Anda hasilkan dengan alat ini adalah milik Anda untuk digunakan untuk tujuan pribadi, pendidikan, atau komersial tanpa batasan atau persyaratan atribusi apa pun.
Apakah ini memerlukan akun?
Tidak. Alat ini langsung siap digunakan tanpa perlu mendaftar, tanpa email, dan tanpa registrasi. Buka saja halamannya dan mulai menghasilkan.
Apakah data masukan saya dirahasiakan?
Ya. Semua pemrosesan terjadi di browser Anda. Data masukan dan keluaran yang Anda hasilkan tidak pernah dikirim ke server eksternal mana pun.
Bagaimana cara memblokir satu bot tetapi mengizinkan yang lain?
Pisahkan blok Agen-pengguna. Agen pengguna: BadBot diikuti dengan Disallow: / memblokir BadBot. Agen-pengguna: * dengan Izinkan: / izinkan yang lain.
Apakah robots.txt peka huruf besar-kecil?
Pencocokan jalur peka huruf besar-kecil. Larang: /Admin tidak cocok dengan /admin. Cocokkan dengan huruf besar/kecil URL Anda yang sebenarnya.
Apakah Penundaan Perayapan benar-benar memperlambat Google?
Google tidak menerima penundaan Perayapan. Ini menghormati pengaturan tingkat perayapan di Search Console. Perayap lain (Bing, Yandex) menghargai penundaan Perayapan.
Apakah data saya sudah diunggah?
Tidak. Pembuatan terjadi di browser Anda.

Related Articles

Content & SEO

Text & SEO Tools Every Content Creator Needs

A practical guide to text analysis and SEO tools including word counters, keyword density checkers, case converters, and readability analyzers for content creators and marketers.

8 min readPrivacy & Technology

Why Browser-Based Tools Are the Future: No Installs, No Uploads, No Risk

Discover why browser-based tools are replacing desktop software and cloud uploads. Learn how client-side processing keeps your files private while delivering powerful functionality.

7 min read