Alat gratis untuk mengontrol crawler

Generator robots.txt

Buat file robots.txt, periksa kesalahan umum saat mengedit, lalu salin atau unduh hasilnya. Generator berjalan di browser dan tidak memerlukan akun.

Pilih mode pengeditan

Mode sederhana lebih aman untuk pengaturan cepat. Editor lanjutan menampilkan semua grup crawler dan aturan.

Kebijakan berdasarkan tujuan crawler

Mulai netral, lalu terapkan pembatasan crawler AI hanya bila sesuai dengan kebijakan Anda.

Default netral: biarkan crawler pencarian, pencarian AI, dan kontrol AI terbuka kecuali aturan jalur Anda memblokirnya secara eksplisit.

Jalur yang diblokir

Mulai dari jalur yang disarankan atau tambahkan milik Anda. Blokir hanya jalur yang memang ingin Anda hindarkan dari crawler yang mematuhi robots.txt.

Jalur yang disarankan

Tambah jalur khusus

Tambahkan jalur situs apa pun. Jalur tanpa slash awal akan ditambahkan otomatis; URL HTTP(S) lengkap disederhanakan menjadi path dan query.

Pencarian

Diizinkan secara default

Pencarian AI

Diizinkan secara default

Kontrol / pelatihan AI

Diizinkan secara default

Sebelum dipublikasikan

  1. 1. Buat
    Tinjau hasil langsung.
  2. 2. Validasi
    Periksa sintaks dan kompatibilitas.
  3. 3. Uji URL
    Verifikasi jalur dan crawler penting.
  4. 4. Publikasikan
    Unggah sebagai /robots.txt di root situs.

robots.txt yang dibuat

Hasil langsung; pembuatan dan validasi tetap berjalan di browser Anda.

User-agent: *
0 error0 peringatan0 catatan

Tidak ada peringatan sintaks atau kompatibilitas yang terdeteksi.

Buat dengan aman

Susun direktif User-agent, Allow, Disallow, dan Sitemap tanpa memformat setiap baris secara manual.

Temukan aturan berisiko

Dapatkan peringatan untuk pemblokiran seluruh situs, URL sitemap tidak valid, direktif non-standar, dan kesalahpahaman umum tentang pengindeksan.

Uji sebelum dipublikasikan

Pindah dari pembuatan ke validasi, pemeriksaan file aktif, dan pengujian URL tanpa meninggalkan situs.

Cara membuat file robots.txt

  1. 1

    Pilih preset awal

    Mulai dari preset situs standar, WordPress, Blogger, atau staging, lalu tinjau setiap aturan untuk situs Anda sendiri.

  2. 2

    Tambahkan aturan crawler

    Masukkan satu jalur Allow atau Disallow per baris dan tentukan grup User-agent utama yang menerima aturan tersebut.

  3. 3

    Tambahkan pengecualian khusus crawler

    Kontrol lanjutan memungkinkan grup terpisah untuk crawler yang perlu berperilaku berbeda dari aturan utama.

  4. 4

    Tambahkan sitemap

    Gunakan URL sitemap HTTP(S) absolut seperti https://example.com/sitemap.xml.

  5. 5

    Tinjau peringatan validasi

    File yang terlihat valid masih dapat berisi aturan berbahaya. Perbaiki error dan tinjau peringatan sebelum memublikasikan.

  6. 6

    Publikasikan di root situs

    Lokasi standar adalah /robots.txt, misalnya https://example.com/robots.txt.

robots.txt tidak membuat halaman menjadi privat

robots.txt mengontrol akses crawler. Ini bukan sistem autentikasi, dan memblokir URL agar tidak di-crawl tidak menjamin URL tersebut tidak dapat muncul di hasil penelusuran.

Kontrol crawlingrobots.txt
Minta agar tidak diindeksnoindex
Lindungi konten privatautentikasi / otorisasi
Pelajari cara kerja robots.txt →

Crawler pencarian dan kontrol crawler terkait AI bukan hal yang sama

Bagian lanjutan memisahkan token crawler yang berbeda. Penyedia dapat mendokumentasikan satu crawler untuk penemuan pencarian dan token lain untuk pengembangan model atau kontrol produk AI. Gunakan aturan khusus hanya bila Anda sengaja ingin perilakunya berbeda dari grup User-agent utama.

Crawling untuk pencarian

Crawler pencarian tradisional seperti Googlebot dan Bingbot menemukan dan meng-crawl konten untuk produk pencarian.

Penemuan lewat pencarian AI

Contohnya OAI-SearchBot, Claude-SearchBot, dan PerplexityBot. Periksa dokumentasi penyedia sebelum mengubah aksesnya.

Kontrol produk AI

Token seperti GPTBot, ClaudeBot, dan Google-Extended memiliki tujuan khusus menurut penyedia dan tidak boleh dianggap setara.

Preset robots.txt untuk platform umum

Preset platform adalah titik awal yang dapat diedit, bukan praktik terbaik universal. Tinjau jalur yang benar-benar digunakan situs Anda sebelum dipublikasikan.

robots.txt WordPress

Buat titik awal untuk WordPress dan tinjau wp-admin, admin-ajax, sitemap, dan aturan crawling.

Buka alat →

Generator robots.txt Blogger

Buat file untuk Blogger dan tinjau perilaku pencarian, label, serta sitemap sebelum mengaktifkan aturan kustom.

Buka alat →

Alat robots.txt terkait

Gunakan halaman khusus ketika tugas Anda berubah dari membuat file menjadi memvalidasi, memeriksa, atau mengujinya.

Validator

Tempel aturan dan temukan error sintaks atau peringatan kompatibilitas.

Buka alat →

Pemeriksa

Ambil robots.txt aktif dari situs dan periksa respons HTTP serta perilaku aturannya.

Buka alat →

Penguji

Uji apakah satu URL diizinkan atau diblokir untuk crawler tertentu.

Buka alat →

Basis pengetahuan

Panduan robots.txt

Panduan praktis tentang crawling, pengindeksan, cakupan host, sitemap, parameter URL, cache, dan troubleshooting robots.txt.

Contoh

Lihat contoh robots.txt praktis untuk mengizinkan crawler, memblokir jalur, menambahkan sitemap, wildcard, dan aturan khusus crawler.

→

Panduan robots.txt

Panduan crawler AI, noindex, sitemap, subdomain, parameter URL, cache, encoding, dan aturan robots.txt.

→

Panduan robots.txt per platform

Konfigurasi dan verifikasi robots.txt untuk Shopify, Next.js, Wix, Squarespace, Webflow, dan Magento / Adobe Commerce.

→

Panduan terkait

Referensi teknis

Aturan dan panduan khusus crawler diperiksa terhadap standar utama dan dokumentasi penyedia, bukan disalin dari alat SEO lain.

Terakhir diverifikasi 2026-09-10

Pertanyaan umum

Di mana robots.txt harus ditempatkan?

Di root host yang dikontrolnya, biasanya /robots.txt.

Apakah robots.txt dapat menghapus URL dari Google?

Fungsi utamanya mengontrol crawling. Jika tujuan Anda mencegah pengindeksan, gunakan kontrol pengindeksan yang tepat, bukan hanya Disallow.

Apakah Google mendukung Crawl-delay?

Googlebot tidak mendukung direktif Crawl-delay, sehingga validator menampilkan peringatan bila direktif ini ditemukan.

Haruskah semua crawler terkait AI diblokir?

Tidak otomatis. Token crawler yang berbeda dapat digunakan untuk pencarian, pengambilan atas permintaan pengguna, pengembangan model, atau tujuan penyedia lainnya. Putuskan per crawler dan periksa dokumentasi terbaru penyedia.

Apakah generator ini gratis?

Ya. Pembuatan dan validasi utama dilakukan di browser dan tidak memerlukan akun.