無料のクロール制御ツール

robots.txt生成ツール

robots.txtを作成し、編集中に一般的なミスを確認して、そのままコピーまたはダウンロードできます。生成処理はブラウザ内で行われ、アカウント登録は不要です。

編集モードを選択

簡易モードは素早い設定に向いています。詳細エディタではすべてのクローラグループとルールを編集できます。

クローラの用途別ポリシー

まず中立設定から始め、方針に合う場合だけAI関連クローラを制限してください。

中立の初期設定です。パスルールで明示的にブロックしない限り、検索、AI検索、AI制御クローラを許可します。

ブロックするパス

候補パスから選ぶか、独自パスを追加します。互換クローラに意図的に避けてほしいパスだけブロックしてください。

候補パス

独自パスを追加

任意のサイトパスを追加できます。先頭に / がない場合は自動追加され、完全なHTTP(S) URLはパスとクエリだけに変換されます。

検索

初期状態で許可

AI検索

初期状態で許可

AI制御 / 学習

初期状態で許可

公開前の確認

  1. 1. 生成
    出力結果を確認します。
  2. 2. 検証
    構文と互換性を確認します。
  3. 3. URLをテスト
    重要なパスとクローラを確認します。
  4. 4. 公開
    サイトのルートに /robots.txt として配置します。

生成されたrobots.txt

リアルタイム出力です。生成と検証はブラウザ内で処理されます。

User-agent: *
0件のエラー0件の警告0件のメモ

構文または互換性の警告は検出されませんでした。

安全に生成

User-agent、Allow、Disallow、Sitemapを1行ずつ手作業で整形せずに作成できます。

危険なルールを検出

サイト全体のブロック、不正なSitemap URL、非標準ディレクティブ、インデックス登録に関するよくある誤解を警告します。

公開前にテスト

生成から検証、公開中ファイルの確認、URL単位のテストまで同じサイト内で進められます。

robots.txtの作り方

  1. 1

    開始設定を選ぶ

    標準サイト、WordPress、Blogger、ステージング向けの設定から始め、各ルールを自分のサイトに合わせて確認します。

  2. 2

    クロールルールを追加

    AllowまたはDisallowのパスを1行ずつ入力し、ルールを適用する主なUser-agentグループを指定します。

  3. 3

    クローラ別の例外を追加

    詳細設定では、主なルールと異なる動作にしたいクローラ用に別グループを作成できます。

  4. 4

    サイトマップを追加

    https://example.com/sitemap.xml のような絶対HTTP(S) URLを使用します。

  5. 5

    検証結果を確認

    見た目が正しいファイルでも危険なルールを含むことがあります。公開前にエラーを修正し、警告を確認してください。

  6. 6

    サイトのルートに公開

    標準の場所は /robots.txt です。例: https://example.com/robots.txt

robots.txtはページを非公開にはしません

robots.txtはクローラのアクセスを制御する仕組みです。認証ではなく、URLのクロールをブロックしても検索結果に表示されないことを保証するものではありません。

クロールを制御robots.txt
インデックス登録しないよう依頼noindex
非公開コンテンツを保護認証 / 認可
robots.txtの仕組みを見る →

検索クローラとAI関連クローラの制御は同じではありません

詳細設定ではクローラごとのトークンを分けて扱います。提供元によっては、検索用のクローラと、モデル開発やAI製品の制御用トークンを別々に公開しています。主なUser-agentルールと意図的に異なる動作にしたい場合だけ、個別ルールを設定してください。

検索向けクロール

GooglebotやBingbotのような検索クローラは、検索サービスのためにコンテンツを発見しクロールします。

AI検索向けの発見

OAI-SearchBot、Claude-SearchBot、PerplexityBotなどがあります。アクセスを変更する前に提供元の最新ドキュメントを確認してください。

AI製品向けの制御

GPTBot、ClaudeBot、Google-Extendedなどは提供元ごとに目的が異なり、同じものとして扱うべきではありません。

主要プラットフォーム向けrobots.txt設定

各設定は編集可能な出発点であり、すべてのサイトに共通する最適解ではありません。公開前に実際のURL構成を確認してください。

WordPress robots.txt

WordPress向けの開始設定を生成し、wp-admin、admin-ajax、サイトマップ、クロールルールを確認します。

ツールを開く →

Blogger robots.txt生成ツール

Blogger向けのファイルを作成し、検索、ラベル、サイトマップの挙動を確認してからカスタムルールを有効にします。

ツールを開く →

関連するrobots.txtツール

ファイル作成から検証、公開確認、URLテストへ目的が変わったら、専用ツールを使ってください。

検証ツール

ルールを貼り付けて構文エラーや互換性の警告を確認します。

ツールを開く →

確認ツール

公開中のrobots.txtを取得し、HTTP応答とルールの状態を確認します。

ツールを開く →

テスター

特定のURLがクローラに対して許可されるかブロックされるかをテストします。

ツールを開く →

ナレッジベース

robots.txtガイド

クロール・インデックス制御、ホストごとの適用範囲、Sitemap、URLパラメータ、キャッシュ、robots.txtのトラブルシューティングを実務向けに解説します。

例

全許可、パスのブロック、Sitemap、ワイルドカード、クローラー別ルールなど実用的なrobots.txt例を確認できます。

→

robots.txtガイド

AIクローラー、noindex、Sitemap、サブドメイン、URLパラメータ、キャッシュ、文字コードなどrobots.txtの実務知識を解説します。

→

プラットフォーム別robots.txtガイド

Shopify、Next.js、Wix、Squarespace、Webflow、Magento / Adobe Commerceのrobots.txt設定と確認手順を解説します。

→

関連ガイド

技術資料

ルールとクローラ固有の情報は、他のSEOツールから転載するのではなく、一次標準と提供元の公式ドキュメントに基づいて確認しています。

最終確認 2026-09-10

よくある質問

robots.txtはどこに置きますか？

制御対象ホストのルート、通常は /robots.txt に配置します。

robots.txtでGoogleからURLを削除できますか？

robots.txtの主な役割はクロール制御です。インデックス登録を防ぎたい場合は、Disallowだけに頼らず適切なインデックス制御を使用してください。

GoogleはCrawl-delayに対応していますか？

GooglebotはCrawl-delayに対応していないため、この検証ツールでは警告を表示します。

AI関連クローラはすべてブロックすべきですか？

一律にブロックする必要はありません。検索、ユーザー要求による取得、モデル開発など用途が異なる場合があります。クローラごとに提供元の最新ドキュメントを確認して判断してください。

この生成ツールは無料ですか？

はい。主要な生成と検証はブラウザ内で行われ、アカウントは不要です。