Saat aturan terlihat benar tetapi tidak bekerja, kami memeriksa scope sebelum syntax. Robots.txt berlaku untuk origin tertentu: protocol, host, dan port.
Kami memisahkan setiap origin
https://example.com/robots.txt
https://shop.example.com/robots.txt
http://example.com/robots.txt
https://example.com:8443/robots.txt
Tidak ada inheritance otomatis di antara origin tersebut.
Kami membuat inventaris host
Production, www, shop, docs, preview, dan staging diperiksa satu per satu. Ini sering mengungkap file lama, 404, atau platform berbeda.
Kami menentukan ownership deployment
Framework, CMS, CDN, atau reverse proxy bisa menjadi sumber respons publik. Kami mengubah lapisan yang benar-benar menyajikan /robots.txt.
Kami menguji URL pada host yang benar
URL shop diuji terhadap kebijakan shop. Tester menunjukkan winning rule, sedangkan checker memastikan file live.
Staging memakai keamanan nyata
Konten privat memakai autentikasi atau access control. Disallow: / bukan security. Untuk preview publik kami juga mengevaluasi noindex.
Scope berlaku per origin
robots.txt terikat pada kombinasi protokol, host, dan port. File di https://example.com tidak otomatis mengontrol shop.example.com, www.example.com, HTTP, atau port lain. Kami membuat inventaris semua origin publik dan mengambil /robots.txt masing-masing.
Ini penting saat migrasi CDN, perubahan www/apex, atau ketika ecommerce, dokumentasi, dan marketing berada di platform berbeda. File yang benar di domain utama tidak memperbaiki subdomain yang masih menyajikan versi lama.
Redirect tidak menggabungkan policy
Walaupun www redirect ke domain utama, kami tetap memeriksa chain khusus /robots.txt. Kami menentukan apakah aplikasi, CDN, CMS, atau platform yang memiliki response tersebut, lalu mengubah layer yang benar. Dengan begitu kami tidak menambah aturan di file yang sebenarnya tidak mengontrol origin bermasalah.
