Utilitas teknis independen
Tentang Robots.txt Tools
Robots.txt Tools membantu pemilik situs membuat, memvalidasi, memeriksa, dan menguji aturan robots.txt tanpa memperlakukan kontrol crawler sebagai kumpulan potongan teks untuk disalin. Alat ini dirancang berdasarkan Robots Exclusion Protocol, dokumentasi mesin telusur, dan perilaku aturan yang dapat direproduksi.
Yang kami bangun
Situs ini fokus pada robots.txt: pembuatan, validasi, pemeriksaan file aktif, pengujian URL, contoh, dan titik awal khusus platform. Ini bukan suite SEO umum dan alat utama tidak memerlukan akun.
Cara hasil diproses
Logika Generator, Validator, dan Penguji dengan aturan yang ditempel berjalan di browser. Pemeriksa hanya melakukan permintaan dari server saat Anda meminta pemeriksaan file /robots.txt publik dari sebuah situs.
Cara panduan teknis diverifikasi
Perilaku protokol diperiksa terhadap RFC 9309. Perilaku khusus Google dan kontrol crawler dipisahkan dari aturan protokol dan diperiksa terhadap dokumentasi resmi penyedia jika sumber utama tersedia.
Hal yang tidak dijanjikan alat ini
robots.txt mengontrol crawling oleh crawler yang mematuhinya; ini bukan autentikasi, tidak menjamin penghapusan dari indeks, dan tidak ada preset yang otomatis benar untuk semua situs. URL penting sebaiknya diuji sebelum dan sesudah perubahan dipublikasikan.
Robots.txt Tools Editorial Team
Perilaku protokol diperiksa terhadap RFC 9309. Perilaku khusus Google dan kontrol crawler dipisahkan dari aturan protokol dan diperiksa terhadap dokumentasi resmi penyedia jika sumber utama tersedia.
Contoh ditulis sebagai titik awal, bukan resep SEO universal. Saat perilaku standar dan implementasi penyedia berbeda, perbedaan tersebut dijelaskan alih-alih menganggap semua peringatan sebagai error sintaks.
Prinsip editorial dan produk
Contoh ditulis sebagai titik awal, bukan resep SEO universal. Saat perilaku standar dan implementasi penyedia berbeda, perbedaan tersebut dijelaskan alih-alih menganggap semua peringatan sebagai error sintaks.
Nama crawler dan kebijakan penyedia dapat berubah. Perubahan penting pada pencarian AI atau kontrol AI ditinjau terhadap dokumentasi terbaru penyedia sebelum panduan diperbarui.
Bug parser yang dapat direproduksi dan klaim teknis yang salah diperlakukan sebagai cacat produk. Tujuannya adalah memperbaiki logika dan penjelasan bersama pada sumbernya, bukan hanya menambal satu halaman.
Mulai dari tugas yang ingin Anda selesaikan
Referensi teknis
Aturan dan panduan khusus crawler diperiksa terhadap standar utama dan dokumentasi penyedia, bukan disalin dari alat SEO lain.
- RFC 9309
Sintaks, pencocokan, pengelompokan, dan perilaku percent-encoding dalam Robots Exclusion Protocol.
- Spesifikasi robots.txt Google
Perilaku robots.txt khusus Google dan field yang didukung.
- Kontrol crawler OpenAI
Tujuan dan kontrol crawler OAI-SearchBot serta GPTBot.
- Kontrol crawler Anthropic
Perilaku ClaudeBot, Claude-SearchBot, dan Claude-User.
- Panduan robots.txt Perplexity
Perilaku pengindeksan PerplexityBot dan kepatuhan robots.txt.
- Dokumentasi Google-Extended
Kontrol Google-Extended untuk pelatihan dan grounding Gemini.