Pour la préproduction, notre première couche est l’accès et non robots.txt.
Nous protégeons le privé par authentification
Mot de passe, authentification ou restriction réseau protègent réellement l’environnement. Disallow: / n’est pas de la sécurité.
Un preview public peut nécessiter noindex
Si une URL doit rester accessible pour validation mais hors recherche, nous utilisons noindex tout en laissant le crawler lire la directive.
Robots.txt reste secondaire
User-agent: *
Disallow: /
Cela peut réduire le crawl sans remplacer contrôle d’accès ou noindex.
Nous séparons préproduction et production
Nous vérifions les deux hosts, supprimons les sitemaps de test et empêchons Disallow: / d’être promu en production.
Notre gate de release
Nous testons les URL de production avec le tester et le fichier live avec le checker.
