Audit situs aktif
Pemeriksa robots.txt
Masukkan URL situs untuk mengambil file robots.txt dari root dan memeriksa respons HTTP, ukuran file, serta peringatan validasi.
Mengambil /robots.txt dari root situs, mengikuti hingga lima pengalihan dengan aman, memblokir tujuan privat/lokal, dan berhenti membaca di atas 500 KiB.
Masukkan situs publik untuk memeriksa apakah robots.txt ada, apakah crawler pencarian dapat mengakses root, dan apa yang perlu diperhatikan.
Pemeriksa vs validator
Pemeriksa mengambil file /robots.txt yang benar-benar dipublikasikan oleh situs. Validator tidak melakukan permintaan jaringan; ia menganalisis teks yang Anda tempel langsung.
Perlu menguji satu URL?
Gunakan penguji ketika Anda ingin mengetahui apakah URL tertentu diizinkan atau diblokir untuk crawler tertentu.
Buka Penguji robots.txt →Hasil cepat
Mulai dari sini. Buka Detail teknis hanya bila Anda membutuhkan informasi HTTP, pengalihan, grup crawler, atau validasi.
Akses pencarian ke root
Akses root hanya memeriksa /. Gunakan Penguji untuk memeriksa URL dan jalur penting satu per satu atau secara massal.
Apa yang perlu diperbaiki?
Diprioritaskan berdasarkan akses crawler dan diagnosis validasi.
Referensi teknis
Aturan dan panduan khusus crawler diperiksa terhadap standar utama dan dokumentasi penyedia, bukan disalin dari alat SEO lain.
- RFC 9309
Sintaks, pencocokan, pengelompokan, dan perilaku percent-encoding dalam Robots Exclusion Protocol.
- Spesifikasi robots.txt Google
Perilaku robots.txt khusus Google dan field yang didukung.