Squarespaceではrobots.txtの多くがplatform管理です。編集チームはraw fileを自由に編集できる前提を置きません。
/searchの除外を確認します
/searchへのDisallowはplatformの想定動作である場合があります。
Crawlers設定を使います
site全体の検索crawler可視性はCrawlers設定で扱い、公開後の結果を確認します。
ページ単位ではnoindexを使います
個別の公開URLはindex/noindex設定で制御し、private contentにはpasswordなどのアクセス制御を使います。
sitemapは自動生成です
自動sitemapを開き、canonical URLが期待どおり含まれるか確認します。
公開出力を確認します
/robots.txt、/sitemap.xml、checker、testerを使って実際の挙動を確認します。
Search crawlerとAI crawlerは別の設定です
Squarespaceは現在、検索crawlerと既知のAI crawlerを別に制御します。個別の公開ページを検索結果から外す場合は noindex、サイト全体なら Crawlers、非公開コンテンツならpassword/access controlを使います。AI bot blockはプラットフォームが管理する要請であり、すべての現在・将来botへの保証ではありません。
Platform標準の除外を誤って直しません
/search や一部parameter patternはSquarespaceの仕様として除外されることがあります。Search Consoleの警告だけで問題と決めず、公式documentと比較します。robots.txtは生成物なので、想定外ruleがある場合はCrawlers、page visibility、collectionなどサポートされた設定をたどります。
Platformが管理する範囲を理解します
Squarespaceではraw robots.txtを自由にuploadする前提ではなく、Crawlers、page-level indexing、password protectionなど提供された設定を使います。search crawlerをsite全体で止めたい場合と、特定pageだけを検索結果から外したい場合は同じ操作ではありません。個別pageならnoindex、private contentならaccess control、known AI crawlerへの要請ならAI crawler設定というように目的ごとに分けます。
/search や一部query patternなど、Squarespaceが重複や内部機能のために除外するpathは、Search Consoleで「blocked」と表示されても必ずしも問題ではありません。まず現在の公式documentとlive robots.txtを比較し、そのlineがplatform defaultなのか、自分たちの設定から生成されたのかを確認します。
CollectionとSitemapも一緒に見ます
collection単位のindexing設定は、関連itemにも影響する可能性があります。変更前にどのpageを検索可能に残すかを一覧にし、公開後は自動生成sitemapを開いてURL inventoryを確認します。Crawlers設定、page noindex、sitemapの内容が矛盾している場合、robots.txtに追加ruleを重ねるのではなく、URLを生成しているSquarespace側の設定へ戻って原因を直します。
AI crawler設定も定期的に見直します
Squarespaceが対象とするknown AI botの一覧は将来変わる可能性があります。設定を一度ONにして終わりにせず、live robots.txtと現在のhelp documentを定期的に比較します。AI検索からの発見を許可したい一方でtraining用途だけを制限したい場合など、platformの一括設定が自分たちの方針に合うかも確認します。
