Utamakan sumber primer
Perilaku protokol diperiksa terhadap RFC 9309. Perilaku khusus mesin telusur diperiksa terhadap dokumentasi resmi penyedia. Preset crawler untuk OpenAI, Anthropic, Perplexity, dan Google tidak disimpulkan dari daftar alat SEO pihak ketiga jika sumber primer tersedia.
Aturan protokol dan perilaku penyedia tetap dipisahkan
Robots Exclusion Protocol mendefinisikan perilaku parsing dan pencocokan umum, sementara penyedia dapat mendokumentasikan perilaku crawler tambahan atau direktif yang tidak didukung. Karena itu, validator tidak menganggap setiap peringatan kompatibilitas sebagai error sintaks RFC.
Contoh adalah titik awal, bukan resep universal
Preset WordPress, Blogger, staging, dan lainnya adalah contoh yang dapat diedit. Jalur yang aman diblokir pada satu situs dapat penting pada situs lain, sehingga preset disajikan dengan peringatan untuk ditinjau dan bukan sebagai konfigurasi “terbaik” universal.
Perubahan crawler penting diverifikasi kembali
Kebijakan pencarian AI dan crawler dapat berubah. Saat penyedia mengubah nama, tujuan, perilaku robots.txt, atau dokumentasi crawler, preset dan penjelasan yang terpengaruh harus ditinjau terhadap sumber primer baru sebelum dipublikasikan.
Koreksi
Bug parser yang dapat direproduksi, deskripsi crawler yang kedaluwarsa, dan koreksi sumber diperlakukan sebagai cacat produk dan diperbaiki pada mesin aturan bersama atau metadata sumber, bukan hanya pada teks satu halaman.