Per /products?sort=price o /search?q=shoes, noi non partiamo da Disallow: /*?. Prima classifichiamo ordinamento, filtro, facet, tracking, sessione, paginazione e ricerca interna.
Testiamo la query string esatta
User-agent: *
Disallow: /*?sort=
Usiamo il tester con URL che devono essere bloccate e con eccezioni che devono restare accessibili.
Un duplicato non richiede sempre robots.txt
Per tracking, canonical, redirect o una generazione link più pulita possono essere migliori. Se una pagina pubblica non deve entrare nell’indice, valutiamo noindex.
Le faccette richiedono selezione
Alcuni filtri ecommerce hanno valore di ricerca, altre combinazioni generano crawl expansion. Manteniamo gli stati utili e limitiamo quelli senza valore dimostrato.
Separiamo scansione e indicizzazione
Robots.txt controlla l’accesso del crawler; noindex controlla l’indicizzazione quando la pagina può essere letta. Vedi robots.txt vs meta robots.
Verifichiamo dopo il deployment
Creiamo una matrice di URL e ripetiamo i test sul file live con il checker.
