La correspondance robots.txt ne fonctionne pas selon « la dernière ligne gagne ». Lorsque plusieurs règles Allow et Disallow s’appliquent, la correspondance la plus spécifique est déterminante. RFC 9309 définit la règle la plus spécifique par la longueur du chemin correspondant et recommande Allow en cas d’égalité équivalente.
Google documente le même principe pratique et prend en charge * et $ dans les motifs de chemin.
Signification de * et $
*correspond à zéro ou plusieurs caractères ;$marque la fin de l’URL.
User-agent: *
Disallow: /*.pdf$
vise les chemins qui se terminent par .pdf. Sans $, la correspondance est plus large.
Un * final est souvent inutile
Disallow: /private
et :
Disallow: /private*
ont une portée très similaire chez Google. Si vous visez un répertoire, /private/ exprime mieux l’intention.
La correspondance la plus longue bat l’ordre visuel
User-agent: *
Disallow: /products/
Allow: /products/public/
Pour /products/public/widget, les deux règles correspondent, mais /products/public/ est plus spécifique et autorise l’URL. Inverser les lignes ne doit pas être utilisé comme mécanisme de priorité.
Égalité Allow/Disallow
Pour deux règles équivalentes, RFC 9309 recommande Allow. Mieux vaut toutefois écrire une politique claire plutôt que dépendre volontairement d’une égalité.
La casse des chemins compte
Disallow: /Admin/
n’est pas forcément identique à :
Disallow: /admin/
Testez les variantes réellement servies par l’application.
Paramètres et e-commerce
User-agent: *
Disallow: /*?sort=
peut se comporter différemment si plusieurs paramètres changent d’ordre. Sur la navigation à facettes, combinez robots.txt avec architecture d’URL, liens internes et canonicals.
Préférer des règles simples
Disallow: /recherche-interne/
est plus facile à maintenir qu’une collection de motifs complexes. Utilisez les jokers lorsqu’un préfixe stable ne suffit réellement pas.
Tester des URL réelles
Avec :
User-agent: *
Disallow: /reports/
Allow: /reports/public/
Disallow: /*.csv$
testez :
/reports/private/quarterly/reports/public/overview/downloads/data.csv/downloads/data.csv?preview=1/REPORTS/private/quarterly
Vous repérez ainsi les erreurs de préfixe, casse, fin de motif et chevauchement.
Méthode recommandée
- Décrire la politique en langage courant.
- Choisir le préfixe le plus simple.
- Ajouter
*ou$seulement si nécessaire. - Préparer des URL à autoriser et bloquer.
- Valider la syntaxe.
- Tester avec le bon User-agent.
- Vérifier le
/robots.txtpublié. - Contrôler les logs.
La spécificité compte plus que la position de la ligne. Utilisez les jokers avec parcimonie et testez les cas où plusieurs règles correspondent.
