Ketika perubahan tampak diabaikan, kami memisahkan repository, respons publik, dan cache crawler.
Kami mengecek production terlebih dahulu
Kami mengambil host yang tepat lalu mencatat status, final URL, dan body. CDN lama atau deployment gagal bukan masalah cache Google.
Kami mempertimbangkan cache normal
Google menjelaskan robots.txt biasanya dicache sekitar 24 jam, meskipun kondisi tertentu dapat mengubah waktunya.
Kami mengecek setiap origin
Apex, www, dan subdomain bisa menyajikan versi berbeda. Build, CDN, reverse proxy, dan generator dinamis juga diperiksa.
Error HTTP mengubah diagnosis
5xx atau 429 berbeda dari 200 yang berisi konten lama.
Kami memverifikasi file live
Checker memastikan respons saat ini; tester memeriksa URL. Search Console dan log dapat membantu membedakan crawler state dari delivery state.
Window cache menjadi baseline diagnosis
Google menjelaskan robots.txt biasanya di-cache sekitar 24 jam, dan versi lama dapat bertahan lebih lama bila refresh gagal karena timeout atau 5xx. Cache-Control juga dapat memengaruhi durasi. Jadi file baru di production tidak selalu berarti perilaku crawler langsung berubah.
Jika checker masih melihat body lama, kami memeriksa deploy/CDN. Jika live response sudah baru tetapi crawler tampak memakai rule lama, cache crawler menjadi hipotesis masuk akal. Bila ada error server, availability diperbaiki lebih dulu.
Kami menyimpan bukti sebelum/sesudah
Untuk perubahan berisiko kami mencatat body lama, waktu deploy, status HTTP, final URL, headers, dan body baru. Ini membantu membedakan crawler cache, edge cache, dan rollback tanpa membuat perubahan kedua yang justru mengaburkan timeline.
