判定理由が分かるルールテスト
robots.txtテスター
robots.txtを貼り付け、クローラを選び、URLをテストします。どのUser-agentグループが一致し、どのAllowまたはDisallowルールが最も具体的かを表示します。
robots.txtルール
ルールを貼り付けるか公開ファイルを取得するか、生成ツールから直接送信できます。
テスト結果
判定には確認ツールと生成ツールの診断と同じマッチングエンジンを使用します。
ブロック
https://example.com/admin/login
2行目のDisallowルールが最も具体的な一致ルールです。
判定の詳細
- クローラグループ
- *（ワイルドカードのフォールバック）
- 勝つルール
- Disallow: /admin/
- 元の行
- 2
- ルールの具体性
- 正規化後 7バイト
クローラ比較
最初にテストしたURLを、検索、AI検索、AI制御のクローラトークンで比較します: https://example.com/admin/login
Googlebot
検索
Disallow: /admin/
Bingbot
検索
Disallow: /admin/
OAI-SearchBot
AI検索
Disallow: /admin/
GPTBot
AI制御 / 学習
Disallow: /admin/
Claude-SearchBot
AI検索
Disallow: /admin/
ClaudeBot
AI制御 / 学習
Disallow: /admin/
PerplexityBot
AI検索
Disallow: /admin/
Google-Extended
AI制御 / 学習
Disallow: /admin/
勝つルールを確認する理由
robots.txtの判定は単純な「先に書いたルールが勝つ」方式ではありません。クローラは適用対象のUser-agentグループを選び、一致するAllowとDisallowのパターンを評価します。このテスターでは、単なる可否だけでなく判定に使われたルールを表示します。
ファイル全体を検証する →判定の詳細
判定には確認ツールと生成ツールの診断と同じマッチングエンジンを使用します。
クローラ比較
警告だけの場合は、解析可能なルールを引き続き評価します。
複数URL
1回につき空行を除く重複なしの最大100行。
技術資料
ルールとクローラ固有の情報は、他のSEOツールから転載するのではなく、一次標準と提供元の公式ドキュメントに基づいて確認しています。
- RFC 9309
Robots Exclusion Protocolの構文、マッチング、グループ化、パーセントエンコードの仕様。
- Google robots.txt仕様
Google固有のrobots.txt動作と対応フィールド。