Untuk /products?sort=price atau /search?q=shoes, kami tidak langsung memakai Disallow: /*?. Kami mengelompokkan sorting, filter, facet, tracking, session, pagination, dan internal search.
Kami menguji query string persis
User-agent: *
Disallow: /*?sort=
Kami menguji URL yang seharusnya terblokir dan pengecualian di tester.
Duplikat belum tentu perlu diblokir
Untuk tracking, canonical, redirect, atau link generation yang lebih bersih bisa lebih tepat. Jika halaman publik tidak boleh masuk index, kami mempertimbangkan noindex.
Facet perlu dipilih berdasarkan nilai
Sebagian filter ecommerce punya search intent, sedangkan kombinasi lain menghasilkan crawl expansion. Kami menjaga state yang bernilai dan membatasi kombinasi yang tidak berguna.
Crawling dan indexing dipisahkan
Robots.txt mengontrol akses crawler; noindex mengontrol indexing saat halaman dapat diambil. Lihat robots.txt vs meta robots.
Kami mengulang tes setelah deployment
Kami membuat matriks URL lalu menguji file live dengan checker.
