Kami memilih kontrol berdasarkan tujuan: robots.txt untuk crawling, noindex untuk indexing, canonical untuk duplikat, redirect untuk pemindahan, dan autentikasi untuk konten privat.
Robots.txt menjawab masalah crawl
Disallow bukan perintah penghapusan index yang andal.
Meta robots harus dapat dibaca
<meta name="robots" content="noindex">
Jika URL diblokir di robots.txt, crawler mungkin tidak membaca noindex.
X-Robots-Tag bekerja di HTTP header
X-Robots-Tag: noindex
Ini berguna untuk PDF dan resource non-HTML.
Canonical bukan kontrol akses
canonical mengonsolidasikan signal. Konten sensitif memakai autentikasi atau authorization nyata.
Urutan keputusan kami
Privat → autentikasi. Publik tetapi tidak di index → noindex/X-Robots-Tag. Duplikat → canonical/redirect. Crawl waste → evaluasi robots.txt. Setelah itu kami memeriksa production dengan checker.
