Saat aturan terlihat benar tetapi tidak bekerja, kami memeriksa scope sebelum syntax. Robots.txt berlaku untuk origin tertentu: protocol, host, dan port.
Kami memisahkan setiap origin
https://example.com/robots.txt
https://shop.example.com/robots.txt
http://example.com/robots.txt
https://example.com:8443/robots.txt
Tidak ada inheritance otomatis di antara origin tersebut.
Kami membuat inventaris host
Production, www, shop, docs, preview, dan staging diperiksa satu per satu. Ini sering mengungkap file lama, 404, atau platform berbeda.
Kami menentukan ownership deployment
Framework, CMS, CDN, atau reverse proxy bisa menjadi sumber respons publik. Kami mengubah lapisan yang benar-benar menyajikan /robots.txt.
Kami menguji URL pada host yang benar
URL shop diuji terhadap kebijakan shop. Tester menunjukkan winning rule, sedangkan checker memastikan file live.
Staging memakai keamanan nyata
Konten privat memakai autentikasi atau access control. Disallow: / bukan security. Untuk preview publik kami juga mengevaluasi noindex.
