Pour /products?sort=price ou /search?q=shoes, nous ne commençons pas par bloquer tous les ?. Nous classons tri, filtre, facette, tracking, session, pagination et recherche interne.
Nous testons la query string exacte
User-agent: *
Disallow: /*?sort=
Le tester reçoit des URL qui doivent matcher et des exceptions qui doivent rester accessibles.
Un doublon ne nécessite pas toujours robots.txt
Pour le tracking, canonical, redirection ou génération de liens plus propre peuvent mieux résoudre le problème. Pour une page publique hors index, nous évaluons noindex.
Les facettes demandent une sélection
Certaines combinaisons ont une valeur SEO, d’autres créent une explosion de crawl. Nous conservons les états utiles et limitons uniquement les combinaisons sans valeur démontrée.
Nous séparons exploration et indexation
Robots.txt contrôle l’accès du crawler ; noindex contrôle l’indexation si la page reste accessible. Voir robots.txt vs meta robots.
Nous vérifions après publication
Nous préparons une matrice d’URL, testons les règles, puis contrôlons le fichier live avec le checker.
La navigation à facettes demande une sélection explicite
Google décrit désormais les facettes comme une source potentielle d’espaces d’URL presque infinis. Si les combinaisons filtrées n’ont pas de valeur de recherche, limiter le crawl peut être pertinent. Si elles doivent rester crawlables, nous gardons un ordre de paramètres prévisible, évitons les combinaisons dupliquées ou absurdes et renvoyons un vrai 404 pour les états sans résultat.
Tracking, recherche interne, tri et filtres ne sont pas équivalents. Les paramètres de campagne relèvent souvent du canonical et de l’hygiène des liens ; la recherche interne a peu de valeur d’indexation ; le tri peut créer du crawl inutile ; certaines facettes de catégorie, couleur ou taille peuvent en revanche mériter une landing page.
Nous réduisons aussi la génération d’URL
robots.txt ne supprime pas les liens. Nous auditons navigation, filtres, pagination, JavaScript et sitemaps. Si l’application peut cesser de générer des combinaisons inutiles, c’est généralement plus durable que d’ajouter toujours plus de wildcards.
