公開サイトの確認
robots.txt確認ツール
サイトURLを入力すると、ルートのrobots.txtを取得し、HTTP応答、ファイルサイズ、検証警告を確認できます。
サイトルートの /robots.txt を取得し、安全に最大5回のリダイレクトを追跡します。プライベート/ローカル宛先を拒否し、500 KiBを超える読み込みは停止します。
公開サイトを入力すると、robots.txtの有無、検索クローラのルートアクセス、確認が必要な点を表示します。
確認ツールと検証ツールの違い
確認ツールはサイトで実際に公開されている /robots.txt を取得します。検証ツールはネットワークアクセスを行わず、貼り付けたテキストだけを解析します。
簡易結果
まずここを確認してください。HTTP、リダイレクト、クローラグループ、検証情報が必要な場合だけ技術的な詳細を開きます。
検索クローラのルートアクセス
ルートアクセスでは / だけを確認します。重要なURLやパスはテスターで個別または一括確認してください。
何を修正すべきですか？
クローラアクセスと検証診断に基づいて優先度を付けています。
技術資料
ルールとクローラ固有の情報は、他のSEOツールから転載するのではなく、一次標準と提供元の公式ドキュメントに基づいて確認しています。
- RFC 9309
Robots Exclusion Protocolの構文、マッチング、グループ化、パーセントエンコードの仕様。
- Google robots.txt仕様
Google固有のrobots.txt動作と対応フィールド。