Kami mengukur file yang benar-benar disajikan di production. Google mendokumentasikan batas 500 KiB; konten setelah batas itu dapat diabaikan.
Kami menjaga UTF-8 tetap konsisten
Kami menghindari encoding lama dan byte invalid. Untuk path non-ASCII, kami memeriksa encoding URL juga.
Kami mengurangi pengulangan
File besar sering berisi URL satu per satu, komentar generated, atau group duplikat. Pola path yang stabil lebih mudah dirawat.
Kami melakukan validasi setelah simplifikasi
Wildcard yang lebih pendek bisa terlalu luas. Kami memakai validator dan tester setelah perubahan struktur.
Kami memeriksa delivery HTTP
CDN, redirect, atau generator dinamis bisa menyajikan konten berbeda. Checker memastikan status dan file production.
Batas 500 KiB benar-benar berpengaruh
Google memproses robots.txt hingga sekitar 500 KiB dan dapat mengabaikan konten sesudah batas tersebut. Karena itu kami menyisakan margin, bukan menargetkan ukuran tepat di bawah batas. Aturan penting yang berada di bagian akhir file besar bisa ada di repository tetapi tidak diproses crawler.
Masalah encoding sering terlihat seperti masalah matching
Kami memeriksa bytes UTF-8 yang benar-benar dikirim, bukan hanya tampilan editor: BOM, replacement character, path non-ASCII, case, dan bentuk percent-encoded. Kami juga memastikan server mengirim text, bukan halaman error HTML yang menyamar sebagai response normal.
Jika file terlalu besar, kami mencari group berulang, daftar per-URL, dan bot list masif. Rule set yang lebih ringkas dan bisa dijelaskan lebih aman untuk audit dan maintenance.
