Em staging nossa primeira camada é acesso, não robots.txt.
Usamos autenticação para conteúdo privado
Password, autenticação ou rede restrita protegem o ambiente. Disallow: / não é segurança.
Preview público pode precisar de noindex
Se a URL precisa abrir para revisão, mas não deve aparecer na busca, usamos noindex mantendo o crawler capaz de ler a diretiva.
Robots.txt é secundário
User-agent: *
Disallow: /
Pode reduzir crawling, mas não substitui proteção ou noindex.
Separamos staging e produção
Conferimos ambos os hosts, removemos sitemap de staging e garantimos que Disallow: / não seja promovido para produção.
Nosso gate de release
Testamos produção com o tester e abrimos o arquivo real no checker. A divisão correta é acesso → autenticação; indexação → noindex; crawl → robots.txt.
