一次資料を優先
プロトコル動作はRFC 9309で確認します。検索エンジン固有の動作は各提供元の公式ドキュメントで確認します。OpenAI、Anthropic、Perplexity、Googleなどのクローラ設定も、一次資料がある場合は第三者SEOツールの一覧から推測しません。
プロトコル仕様と提供元固有動作を分ける
Robots Exclusion Protocolは一般的な解析とマッチング動作を定義しますが、各提供元は追加のクローラ動作や未対応ディレクティブを公開する場合があります。そのため、検証ツールでは互換性の警告をすべてRFC構文エラーとして扱いません。
例は出発点であり万能設定ではありません
WordPress、Blogger、ステージングなどの設定は編集可能な例です。あるサイトで安全にブロックできるパスが別のサイトでは重要な場合があります。そこで、万能な「最適設定」と表現せず、確認を促す警告を付けています。
重要なクローラ変更は再確認
AI検索やクローラの方針は変更されることがあります。提供元がクローラ名、目的、robots.txt動作、ドキュメントを変更した場合、関連する設定と説明を新しい一次資料で確認してから更新します。
訂正
再現可能なパーサー不具合、古いクローラ説明、出典の訂正は製品上の不具合として扱い、特定ページの文章だけを修正するのではなく、共通ルールエンジンや出典メタデータを修正します。