独立した技術ツール
Robots.txt Toolsについて
Robots.txt Toolsは、robots.txtのクロール制御を単なるコピペ用スニペット集として扱わず、ルールの生成、検証、公開確認、URLテストを実用的に行うためのツールです。Robots Exclusion Protocol、検索エンジンの公式資料、再現可能なルール動作を基準に設計しています。
提供しているもの
robots.txtに特化し、生成、検証、公開確認、URLテスト、例、プラットフォーム別の出発点を提供しています。一般的なSEO総合ツールではなく、主要機能にアカウントは不要です。
結果の処理方法
生成ツール、検証ツール、貼り付けたルールを使うテスターの主要処理はブラウザ内で行われます。確認ツールだけは、公開サイトの /robots.txt を確認するときにサーバー側からリクエストを行います。
技術情報の確認方法
プロトコル動作はRFC 9309で確認します。Google固有の動作やクローラ別制御はプロトコルルールと分け、一次資料がある場合は提供元の公式ドキュメントで確認します。
ツールが保証しないこと
robots.txtは互換クローラのクロールを制御しますが、認証ではなく、検索結果からの削除を保証しません。また、すべてのサイトに自動的に正しい設定はありません。重要なURLは変更前後にテストしてください。
Robots.txt Tools Editorial Team
プロトコル動作はRFC 9309で確認します。Google固有の動作やクローラ別制御はプロトコルルールと分け、一次資料がある場合は提供元の公式ドキュメントで確認します。
例は万能なSEO処方ではなく出発点として提示します。標準仕様と提供元固有の実装に違いがある場合は、その違いを明示し、すべての警告を構文エラーとして扱いません。
編集・製品方針
例は万能なSEO処方ではなく出発点として提示します。標準仕様と提供元固有の実装に違いがある場合は、その違いを明示し、すべての警告を構文エラーとして扱いません。
クローラ名や提供元の方針は変更されることがあります。AI検索やAI制御に関する重要な変更は、関連する案内を更新する前に提供元の最新資料で再確認します。
再現可能なパーサー不具合や誤った技術情報は製品上の不具合として扱います。特定ページだけを修正するのではなく、共通ロジックや説明の元を修正することを重視します。
目的に合うツールから始める
技術資料
ルールとクローラ固有の情報は、他のSEOツールから転載するのではなく、一次標準と提供元の公式ドキュメントに基づいて確認しています。
- RFC 9309
Robots Exclusion Protocolの構文、マッチング、グループ化、パーセントエンコードの仕様。
- Google robots.txt仕様
Google固有のrobots.txt動作と対応フィールド。
- OpenAIクローラ制御
OAI-SearchBotとGPTBotの目的と制御。
- Anthropicクローラ制御
ClaudeBot、Claude-SearchBot、Claude-Userの動作。
- Perplexity robots.txtガイド
PerplexityBotのインデックス動作とrobots.txtへの準拠。
- Google-Extendedドキュメント
Geminiのトレーニングやグラウンディングに関するGoogle-Extendedの制御。