Squarespace mengelola sebagian besar robots.txt. Kami memakai kontrol resmi platform, bukan workflow raw file yang tidak tersedia.
Kami mengenali aturan /search
Disallow untuk /search dapat menjadi perilaku normal platform.
Crawlers mengatur visibilitas luas
Untuk keputusan tingkat situs, kami memakai Crawlers lalu memeriksa output publik.
noindex lebih tepat untuk satu halaman
URL publik individual memakai pengaturan noindex/indexing; konten privat memakai password atau access control.
Sitemap dibuat otomatis
Kami membuka sitemap yang generated dan memeriksa URL canonical, bukan mencoba mengelola XML secara manual.
Kami memeriksa hasil live
Kami meninjau /robots.txt, /sitemap.xml, checker, dan tester.
Search crawler dan AI crawler adalah kontrol berbeda
Squarespace saat ini memisahkan setting untuk crawler search dan bot AI yang dikenal. Untuk satu halaman publik kami memakai noindex; untuk visibility seluruh situs memakai Crawlers; untuk konten privat memakai password atau access control. Setting blok AI adalah permintaan yang dikelola platform, bukan jaminan terhadap semua bot saat ini maupun di masa depan.
Exclusion bawaan tidak otomatis berarti error
Path seperti /search dan beberapa pola parameter dapat diblokir sebagai perilaku normal Squarespace. Sebelum “memperbaiki” alert, kami membandingkannya dengan dokumentasi platform. Karena file dibuat oleh Squarespace, rule yang tidak diharapkan kami telusuri ke Crawlers, visibility halaman, collection, atau setting resmi lain, bukan mencari file server untuk di-upload.
Collection diperiksa sebagai kasus tersendiri
Perubahan indexing pada collection dapat memengaruhi item terkait. Kami mencatat halaman mana yang harus tetap searchable sebelum mengubah setting luas, lalu mengecek sitemap otomatis agar daftar URL publik tetap konsisten dengan Crawlers dan page-level controls. Jika ada URL yang tidak diharapkan, kami telusuri setting yang menghasilkan URL tersebut sebelum menambah aturan lain untuk menutupinya.
