En staging nuestra primera decisión es de acceso, no de robots.txt.
Usamos autenticación para contenido privado
Password, autenticación, red privada o controles equivalentes protegen información. Disallow: / no es seguridad.
Un preview público puede necesitar noindex
Si debe ser accesible pero no aparecer en Google, usamos noindex y permitimos que el crawler lo lea. Bloquear el mismo URL en robots.txt puede impedir procesar la directiva.
Robots.txt es una capa secundaria
User-agent: *
Disallow: /
Puede reducir rastreo de staging, pero no sustituye autenticación ni noindex.
Separamos staging de producción
No compartimos una configuración manual frágil. Antes de release comprobamos ambos /robots.txt, eliminamos sitemaps de staging y verificamos que Disallow: / no se haya promovido a producción.
Nuestro release gate
Probamos URLs de producción con el tester y abrimos el archivo real con el checker. La separación correcta es: acceso privado → autenticación; exclusión de índice → noindex; control de crawl → robots.txt.
