Untuk staging, kami menempatkan access control di depan robots.txt.
Kami memakai autentikasi untuk konten privat
Password, autentikasi, atau pembatasan jaringan benar-benar melindungi environment. Disallow: / bukan security.
Preview publik dapat memakai noindex
Jika URL harus terbuka untuk review tetapi tidak muncul di search, kami menyajikan noindex sambil membiarkan crawler membaca directive tersebut.
Robots.txt hanya lapisan tambahan
User-agent: *
Disallow: /
Ini bisa mengurangi crawling, tetapi tidak menggantikan autentikasi atau noindex.
Kami memisahkan staging dan production
Kami memeriksa kedua host, menghapus sitemap staging, dan memastikan Disallow: / tidak ikut ke production.
Gate sebelum release
Kami menguji URL production dengan tester dan file live dengan checker.
