Robots.txt et noindex : bloquer exploration ou indexation

robots.txt et noindex ne répondent pas au même besoin. La règle simple à retenir : robots.txt détermine si un crawler peut demander une URL ; noindex indique à un système compatible que cette page ne doit pas rester dans son index.

Google précise que robots.txt n’est pas le mécanisme à utiliser pour empêcher de façon fiable une page web classique d’apparaître dans Google Search. Une URL bloquée peut être découverte par des liens, sitemaps, redirections ou données historiques.

Comparer les contrôles

Contrôle	Objectif	Emplacement	Le crawler doit charger la page ?
`Disallow`	Limiter l’exploration	`/robots.txt`	Non
meta robots `noindex`	Empêcher l’indexation HTML	`<head>`	Oui
`X-Robots-Tag: noindex`	Contrôler aussi des ressources non HTML	En-tête HTTP	Oui
Authentification	Protéger l’accès	Serveur/application	Pas d’accès public

Un crawler ne peut pas lire noindex sur une page si robots.txt lui interdit de la récupérer.

Configuration souvent contre-productive

User-agent: *
Disallow: /members-preview/

avec :

<meta name="robots" content="noindex">

Googlebot peut ne jamais voir la balise. Si l’URL est découverte ailleurs, elle peut encore apparaître sans extrait.

Pour une page publique que l’on souhaite uniquement sortir de l’index, autoriser l’exploration et servir noindex est généralement plus clair.

Quand utiliser robots.txt

robots.txt convient au contrôle d’exploration : recherche interne, panier, sessions, certaines facettes ou zones applicatives de faible valeur.

User-agent: *
Disallow: /recherche-interne/
Disallow: /cart/
Allow: /

Sitemap: https://example.com/sitemap.xml

Testez les URL importantes avant de bloquer un répertoire large.

Quand utiliser noindex

Pour une URL publique et explorable qui ne doit pas apparaître dans les résultats :

<meta name="robots" content="noindex">

Pour un PDF ou une autre ressource :

X-Robots-Tag: noindex

Dans les deux cas, le crawler doit pouvoir récupérer la réponse.

« Indexée malgré le blocage robots.txt »

Ce n’est pas contradictoire. Exploration et indexation sont deux systèmes distincts. Un moteur peut connaître une URL sans avoir accès à son contenu actuel.

Si l’URL doit réellement disparaître, demandez d’abord si le crawler peut y accéder sans risque. Si oui, retirez le blocage et renvoyez noindex. Si le contenu est privé, utilisez l’authentification.

Ne pas mettre Noindex dans robots.txt

D’anciens exemples proposent :

Noindex: /exemple/

Google ne prend pas en charge noindex comme directive robots.txt. Utilisez meta robots ou X-Robots-Tag.

Même principe pour la recherche avec IA

OpenAI distingue également le blocage de OAI-SearchBot de noindex. Une URL connue par une autre source peut encore être affichée sous forme de lien/titre ; pour demander son exclusion, la directive d’indexation doit être lisible.