Untuk staging, kami menempatkan access control di depan robots.txt.
Kami memakai autentikasi untuk konten privat
Password, autentikasi, atau pembatasan jaringan benar-benar melindungi environment. Disallow: / bukan security.
Preview publik dapat memakai noindex
Jika URL harus terbuka untuk review tetapi tidak muncul di search, kami menyajikan noindex sambil membiarkan crawler membaca directive tersebut.
Robots.txt hanya lapisan tambahan
User-agent: *
Disallow: /
Ini bisa mengurangi crawling, tetapi tidak menggantikan autentikasi atau noindex.
Kami memisahkan staging dan production
Kami memeriksa kedua host, menghapus sitemap staging, dan memastikan Disallow: / tidak ikut ke production.
Gate sebelum release
Kami menguji URL production dengan tester dan file live dengan checker.
Kontrol dipilih berdasarkan tingkat exposure
Staging internal atau review klien seharusnya memakai autentikasi atau pembatasan jaringan. Preview publik yang harus tetap bisa dibuka tetapi tidak muncul di search dapat memakai noindex sambil tetap crawlable. robots.txt hanya layer sekunder, bukan boundary keamanan.
Risiko terbesar adalah Disallow: / dari staging ikut masuk ke production. Karena itu policy production harus eksplisit dan diperiksa sebagai release gate.
Preview lama juga harus dibereskan
Setelah launch, kami menutup preview yang tak diperlukan atau mempertahankan autentikasinya. Bila staging publik sudah terindeks, menambah Disallow: / saja bukan proses removal. Kami menentukan apakah host sebaiknya membutuhkan login, mengembalikan status HTTP yang tepat, atau tetap crawlable untuk sementara agar noindex dapat diproses.
Kami cek kebocoran konfigurasi saat release
Sebelum promosi ke production, kami juga memeriksa internal link, sitemap, canonical, dan environment variable agar tidak masih menunjuk ke host staging. Sesudah deploy, kami membuka beberapa halaman publik dan membandingkan directive indexing-nya dengan robots.txt production. Dengan cara ini kami bisa menangkap bukan hanya Disallow: / yang tertinggal, tetapi juga referensi tersembunyi ke environment yang salah.
