Pengujian aturan yang dapat dijelaskan
Penguji robots.txt
Tempel file robots.txt, pilih crawler, lalu uji URL. Hasil menjelaskan grup User-agent yang cocok dan aturan Allow atau Disallow paling spesifik yang digunakan.
Aturan robots.txt
Tempel aturan, muat file publik, atau kirim aturan langsung dari Generator.
Hasil pengujian
Keputusan menggunakan mesin pencocokan yang sama dengan Pemeriksa dan diagnosis Generator.
Diblokir
https://example.com/admin/login
Aturan Disallow pada baris 2 adalah aturan cocok yang paling spesifik.
Jejak keputusan
- Grup crawler
- * (fallback wildcard)
- Aturan pemenang
- Disallow: /admin/
- Baris sumber
- 2
- Spesifisitas aturan
- 7 byte setelah normalisasi
Perbandingan crawler
Bandingkan URL pertama yang diuji pada token crawler pencarian, pencarian AI, dan kontrol AI: https://example.com/admin/login
Googlebot
Pencarian
Disallow: /admin/
Bingbot
Pencarian
Disallow: /admin/
OAI-SearchBot
Pencarian AI
Disallow: /admin/
GPTBot
Kontrol / pelatihan AI
Disallow: /admin/
Claude-SearchBot
Pencarian AI
Disallow: /admin/
ClaudeBot
Kontrol / pelatihan AI
Disallow: /admin/
PerplexityBot
Pencarian AI
Disallow: /admin/
Google-Extended
Kontrol / pelatihan AI
Disallow: /admin/
Mengapa aturan pemenang penting
Pencocokan robots.txt bukan sekadar “aturan pertama menang”. Crawler memilih grup User-agent yang berlaku lalu mengevaluasi pola Allow dan Disallow yang cocok. Penguji menampilkan aturan yang digunakan dalam keputusan, bukan hanya hasil ya/tidak.
Validasi seluruh file →Jejak keputusan
Keputusan menggunakan mesin pencocokan yang sama dengan Pemeriksa dan diagnosis Generator.
Perbandingan crawler
Aturan yang dapat diurai tetap dievaluasi bila hanya ada peringatan.
Banyak URL
Hingga 100 baris unik yang tidak kosong per pengujian.
Referensi teknis
Aturan dan panduan khusus crawler diperiksa terhadap standar utama dan dokumentasi penyedia, bukan disalin dari alat SEO lain.
- RFC 9309
Sintaks, pencocokan, pengelompokan, dan perilaku percent-encoding dalam Robots Exclusion Protocol.
- Spesifikasi robots.txt Google
Perilaku robots.txt khusus Google dan field yang didukung.