Untuk /products?sort=price atau /search?q=shoes, kami tidak langsung memakai Disallow: /*?. Kami mengelompokkan sorting, filter, facet, tracking, session, pagination, dan internal search.
Kami menguji query string persis
User-agent: *
Disallow: /*?sort=
Kami menguji URL yang seharusnya terblokir dan pengecualian di tester.
Duplikat belum tentu perlu diblokir
Untuk tracking, canonical, redirect, atau link generation yang lebih bersih bisa lebih tepat. Jika halaman publik tidak boleh masuk index, kami mempertimbangkan noindex.
Facet perlu dipilih berdasarkan nilai
Sebagian filter ecommerce punya search intent, sedangkan kombinasi lain menghasilkan crawl expansion. Kami menjaga state yang bernilai dan membatasi kombinasi yang tidak berguna.
Crawling dan indexing dipisahkan
Robots.txt mengontrol akses crawler; noindex mengontrol indexing saat halaman dapat diambil. Lihat robots.txt vs meta robots.
Kami mengulang tes setelah deployment
Kami membuat matriks URL lalu menguji file live dengan checker.
Faceted navigation perlu keputusan eksplisit
Dokumentasi Google saat ini menyebut faceted navigation sebagai sumber ruang URL yang bisa hampir tak terbatas. Bila kombinasi filter tidak perlu tampil di search, pembatasan crawl dapat masuk akal. Bila harus tetap crawlable, kami menjaga urutan parameter konsisten, menghindari kombinasi duplikat/tidak masuk akal, dan mengembalikan 404 nyata untuk kombinasi tanpa hasil.
Tracking, internal search, sorting, dan filter tidak diperlakukan sama. Parameter campaign lebih sering ditangani lewat link hygiene dan canonical; internal search biasanya bernilai index rendah; sorting bisa menjadi crawl waste; facet kategori, warna, atau ukuran kadang layak menjadi landing page.
Kami juga mengurangi pembentukan URL
robots.txt tidak menghapus link. Kami memeriksa filter UI, navigasi, pagination, JavaScript, dan sitemap. Jika aplikasi dapat berhenti menghasilkan kombinasi yang tidak berguna, solusi itu biasanya lebih tahan lama daripada terus menambah wildcard.
