robots.txtガイド

robots.txtのファイルサイズと文字コード：大きいファイルの確認方法

500 KiB、UTF-8、byte、文字コード、重複ルール、本番配信をまとめて確認する手順です。

Robots.txt Tools Editorial Team による最終確認 2026-09-13約2分で読めます

編集方針：このガイドは Robots.txt Tools Editorial Team が使用する確認手順を記録したものです。手順を一人称で説明する表現は、顧客案件や個人的な実体験を主張するものではありません。

robots.txtのファイルサイズと文字コード：大きいファイルの確認方法

編集チームではソースではなく本番レスポンスのサイズを測ります。Googleは500 KiBのrobots.txt上限を説明しています。

UTF-8を前提に確認します

古い文字コードや不正なbyteを避けます。非ASCIIのパスではURLエスケープも合わせて確認します。

重複ルールを減らします

巨大ファイルではURL単位の列挙、生成コメント、重複groupを探します。安定したパスルールの方が保守しやすくなります。

簡略化後に必ず検証します

短いwildcardが広すぎる可能性があります。validatorとtesterで確認します。

本番配信をチェックします

CDN、redirect、dynamic生成でソースと別の内容が出ることがあります。checkerでHTTP状態と公開本文を確認します。

関連ガイド