Robots.txt et sous-domaines : host, protocole et port

Robots.txt et sous-domaines : comment nous vérifions la portée

Notre méthode pour protocole, host, port, www, préproduction et ownership du déploiement avant toute modification.

Par Robots.txt Tools Editorial TeamPublié le 2026-09-13Dernière vérification le 2026-09-131 min de lecture

Méthode éditoriale : ce guide documente le processus de vérification de l’équipe éditoriale Robots.txt Tools. La première personne décrit cette méthode et ne revendique ni mission client ni étude de cas personnelle.

Lorsqu’une règle semble correcte sans effet, nous vérifions la portée avant la syntaxe. Robots.txt est lié à une origine : protocole, host et port.

Nous séparons chaque origine

https://example.com/robots.txt
https://shop.example.com/robots.txt
http://example.com/robots.txt
https://example.com:8443/robots.txt

Aucune héritage automatique ne relie ces fichiers.

Nous dressons la liste des hosts

Production, www, boutique, documentation, preview et préproduction sont contrôlés séparément. Cela révèle souvent un fichier obsolète ou une autre plateforme.

Nous identifions la couche qui publie

Framework, CMS, CDN ou reverse proxy peuvent posséder la réponse publique. Nous modifions la couche qui sert réellement /robots.txt.

Nous testons sur le bon host

Une URL de boutique est testée avec la politique de cette boutique. Le tester montre la règle gagnante et le checker confirme le fichier public.

La sécurité de préproduction est séparée

Pour du contenu privé, nous utilisons authentification ou contrôle d’accès. Disallow: / n’est pas une mesure de sécurité. Pour un preview public, nous vérifions aussi noindex.