Squarespaceのrobots.txt：管理された設定を確認する方法

Squarespaceではrobots.txtの多くがplatform管理です。編集チームはraw fileを自由に編集できる前提を置きません。

/searchの除外を確認します

/searchへのDisallowはplatformの想定動作である場合があります。

Crawlers設定を使います

site全体の検索crawler可視性はCrawlers設定で扱い、公開後の結果を確認します。

ページ単位ではnoindexを使います

個別の公開URLはindex/noindex設定で制御し、private contentにはpasswordなどのアクセス制御を使います。

sitemapは自動生成です

自動sitemapを開き、canonical URLが期待どおり含まれるか確認します。

公開出力を確認します

/robots.txt、/sitemap.xml、checker、testerを使って実際の挙動を確認します。