Shopifyは各ストアにrobots.txtを自動生成します。Shopifyの公式ヘルプでは、既定ファイルは多くのストアでSEOに適した設定になっていると説明されています。つまり、空のファイルから作るサーバーとは違い、まず既定のrobots.txtを理解し、具体的な理由がある場合だけ変更するのが安全です。
高度な変更にはテーマのrobots.txt.liquidを使えます。ただしShopifyは誤ったカスタマイズが大きなトラフィック損失につながる可能性も警告しています。
Shopifyのrobots.txtはどこにある？
プライマリードメインのルートです。
https://example.com/robots.txt
変更前にライブファイルを保存し、現在の既定ルールを基準にしてください。他のShopifyストアのrobots.txtをそのままコピーするのは避けます。アプリ、テーマ、市場設定、Shopify自身の既定値が異なるためです。
既定ファイルを編集する必要があるケース
具体的なクロール要件がある場合だけ検討します。
- アプリが生成する不要URL空間をブロックしたい
- 特定パスを意図的にクロール可能へ戻したい
- 追加Sitemap URLを指定したい
- 提供元が公式に案内する特定クローラーを制御したい
- AIクローラーのopen-webアクセス方針を設定したい
「競合のrobots.txtが長いから」「SEO監査でrobots.txtが表示されたから」という理由だけで編集する必要はありません。
Shopifyの既定ルールをできるだけ維持する
robots.txt.liquidではLiquidを使って既定ルールへ追加・削除する方法が提供されています。ファイル全体を固定テキストに置き換えると、Shopify側の既定ルール変更を将来取り込めなくなる可能性があります。
変更は最小限にし、各overrideの理由をコメントや運用記録に残してください。
クロールとインデックスを混同しない
Shopifyも「クロール」と「インデックス」は別の処理だと説明しています。robots.txtでブロックしたURLでも、他の経路で発見されるとインデックス状態になる場合があります。
公開ページを検索結果から除外する目的なら、Disallowだけではなく適切なnoindexを検討します。機密情報には認証を使います。「インデックス登録済み、robots.txtによりブロック」という表示を消すだけのために、既定のShopifyルールを安易に削除しないでください。
Sitemapの扱い
Shopifyはサイトマップも自動提供します。robots.txtにSitemapを追加する場合は完全URLを使います。
Sitemap: https://example.com/sitemap.xml
同じSitemapを何度も宣言してもSEO上の追加価値はありません。サイトマップにはcanonicalでindexableな商品、コレクション、コンテンツURLを含めることが重要です。
ShopifyのAIクローラー制御
Shopifyの現在のヘルプでは、AIクローラーのアクセスは複数レイヤーで説明されています。robots.txt.liquidではopen webから直接アクセスする特定User-agentを許可・ブロックできます。
一方、Shopify Catalogから有効化済みのagentic storefrontへ商品データが配信される仕組みは別レイヤーです。robots.txtでAIクローラーをブロックしても、Shopify Catalog経由の配信まで自動的に停止するわけではありません。
したがって、次のどれを制御したいのか先に決めます。
- 公開Webページへのクロール
- AI検索での発見
- 特定提供元の学習用クローラー
- Shopify Catalogや販売チャネルでの商品データ配信
これらは同じスイッチではありません。
コレクション・検索・パラメータURLに注意
ECサイトではフィルター、検索、トラッキングパラメータなど大量のURL組み合わせが発生します。Shopifyの既定ルールには、価値の低いURL空間へクロールを集中させない意図があります。
変更前に、canonicalコレクション、フィルターURL、内部検索、商品URL、マーケット/言語URL、アプリ生成URLをサンプルとして整理してください。「全部Allow」にするとクロール対象が急増する可能性があります。
安全な変更手順
- 現在のライブ
/robots.txtを保存 - 変更目的を1文で書く
- ブロックすべきURLと許可すべきURLを用意
- 最小限のLiquid変更だけ行う
- 出力されたrobots.txtを検証
- 代表URLで勝つルールをテスト
- 公開後にライブ
/robots.txtを再取得 - Search Consoleとログを監視
- Shopifyの仕様変更後に再レビュー
多くのShopifyストアは既定ファイルのままで問題ありません。変更が必要な場合は、既定値を可能な限り維持し、最小変更・実URLテスト・公開後確認をセットにするのが安全です。
