すべてのクローラを許可
空のDisallowはどのパスもブロックしません。クロール制限がないサイトではrobots.txt自体が必須ではありません。
User-agent: *
Disallow:
そのまま使える基本パターン
robots.txtの例
Allow、Disallow、Sitemap、ワイルドカード、クローラ別ルールなど、よく使うrobots.txtパターンをまとめています。出発点として使い、公開前に自分のサイトで必ず確認してください。
すべてのクローラをブロック
互換クローラからサイト全体をブロックします。アクセス制御の代わりにはならないため注意して使ってください。
User-agent: *
Disallow: /
ディレクトリをブロック
/private/ から始まるパスのURLをブロックします。
User-agent: *
Disallow: /private/
ブロックしたディレクトリ内の一部を許可
より具体的なAllowルールで、広くブロックされた範囲の一部を許可できます。
User-agent: *
Disallow: /admin/
Allow: /admin/help/
Sitemapを追加
Sitemapディレクティブには絶対HTTP(S) URLを指定します。
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
ファイルパターンをブロック
ワイルドカード * はパスパターン内の文字列に一致します。
User-agent: *
Disallow: /*.pdf$
Googlebotだけをブロック
Googlebot専用グループはワイルドカードグループとは別に評価されます。
User-agent: Googlebot
Disallow: /private-for-google/
Googlebotを許可しワイルドカードグループをブロック
Googlebotには、ワイルドカードのフォールバックより専用グループが優先されます。
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
GPTBotをブロックしOAI-SearchBotを許可
OpenAIはGPTBotとOAI-SearchBotを別の制御として公開しています。クローラ別ルールを公開する前に最新の公式ドキュメントを確認してください。
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
サイトの種類
候補パスから選ぶか、独自パスを追加します。互換クローラに意図的に避けてほしいパスだけブロックしてください。
WordPress
/wp-admin/ をブロックしつつ admin-ajax.php はクロール可能な状態から始めます。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml
ECサイト
基本は開放状態で、カート、チェックアウト、アカウント、検索などの代表的なパスをすぐ選べます。
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
ステージング / 全体をブロック
互換クローラからサイト全体をブロックします。非公開環境には認証も併用してください。
User-agent: *
Disallow: /
ステージングモードはサイト全体を意図的にブロックします。非公開環境には認証も使用してください。
公開前にテスト
重複するルールや専用User-agentグループによって結果が変わることがあります。サンプルがすべてのサイトで同じ動作をすると考えず、代表的なURLをテストしてください。
robots.txtテスターを開く →