Per staging, noi mettiamo l’access control prima di robots.txt.
Usiamo autenticazione per il privato
Password, autenticazione o restrizioni di rete proteggono davvero l’ambiente. Disallow: / non è sicurezza.
Un preview pubblico può usare noindex
Se una URL deve essere raggiungibile per revisione ma non comparire nella ricerca, serviamo noindex lasciando il crawler libero di leggerlo.
Robots.txt resta un livello aggiuntivo
User-agent: *
Disallow: /
Può ridurre il crawling, ma non sostituisce autenticazione o noindex.
Separiamo staging e production
Verifichiamo entrambi gli host, rimuoviamo le sitemap di staging e impediamo che Disallow: / venga promosso in production.
Gate prima del release
Testiamo URL production con il tester e il file live con il checker.
