Bloggerのクロール制御
Blogger robots.txt設定・生成
Bloggerで具体的なクロール方針を実装する必要がある場合にだけ、カスタムrobots.txtの出発点を作成してください。Bloggerは標準のrobots.txtをすでに配信するため、カスタム設定は必須SEO設定ではなく、標準動作の上書きとして扱う必要があります。
多くのBloggerサイトではカスタムrobots.txtは不要です
Bloggerの公式設定ドキュメントでは、カスタムrobots.txtを有効にすると入力したテキストが標準robots.txtを置き換えると説明されています。解決したい具体的なクロール問題がない場合は、標準設定を維持する方が安全です。
編集モードを選択
簡易モードは素早い設定に向いています。詳細エディタではすべてのクローラグループとルールを編集できます。
クローラの用途別ポリシー
まず中立設定から始め、方針に合う場合だけAI関連クローラを制限してください。
中立の初期設定です。パスルールで明示的にブロックしない限り、検索、AI検索、AI制御クローラを許可します。
ブロックするパス
候補パスから選ぶか、独自パスを追加します。互換クローラに意図的に避けてほしいパスだけブロックしてください。
候補パス
独自パスを追加
任意のサイトパスを追加できます。先頭に / がない場合は自動追加され、完全なHTTP(S) URLはパスとクエリだけに変換されます。
検索
初期状態で許可
AI検索
初期状態で許可
AI制御 / 学習
初期状態で許可
公開前の確認
- 1. 生成
出力結果を確認します。 - 2. 検証
構文と互換性を確認します。 - 3. URLをテスト
重要なパスとクローラを確認します。 - 4. 公開
サイトのルートに /robots.txt として配置します。
生成されたrobots.txt
リアルタイム出力です。生成と検証はブラウザ内で処理されます。
User-agent: *Disallow: /searchDisallow: /search/label/ 構文または互換性の警告は検出されませんでした。
Blogger設定で制御しようとしているもの
Bloggerでは通常の記事・ページURLとは別に、検索結果やラベル結果のURLが作られます。この設定は検索系パスを控えめにブロックした状態から始めますが、自分のブログに合わせて確認するための出発点にすぎません。
検索結果URL
設定には /search が含まれ、互換クローラがBloggerの検索結果パスを避けるようにします。ルールを維持・拡張する前にテーマやナビゲーションが生成する実際のURLを確認してください。
ラベル結果URL
Bloggerのラベルページは通常 /search/label/ 以下にあります。広いルールで必要なコンテンツまで対象にしないよう、実際のラベルURLと通常の記事URLを公開前にテストしてください。
記事と固定ページ
主要記事と固定ページは、意図的に別方針を設けない限り通常はクロール可能なままにします。各コンテンツ種別から少なくとも1件をテストしてください。
Sitemapディレクティブ
本番ブログが実際に配信しているSitemap URLを使ってください。古いAtomフィードやモバイルパラメータの例を他サイトからコピーする前に公開URLを確認します。
Bloggerでカスタムrobots.txtを使う方法
- 1
上書きが本当に必要か確認
Bloggerの標準動作が自分のクロール方針に合っているなら、SEO記事に例があるという理由だけでカスタム設定を有効にしないでください。
- 2
ルールを生成して確認
ブロックする各パスを、ブログに実在するURLと照合します。理由を説明できないルールは削除してください。
- 3
クローラとインデックス設定を開く
Blogger設定でカスタムrobots.txtを有効にするのは、標準内容を確認済みテキストで置き換える準備ができてからにしてください。
- 4
保存前後にテスト
記事、固定ページ、ラベルURL、検索URL、サイトマップを確認します。保存後は公開中の /robots.txt 応答も確認してください。
公式プラットフォーム資料: Bloggerヘルプ — ブログ設定を管理する. カスタムrobots.txtとカスタムrobotsヘッダータグについては、クローラとインデックス関連の項目を確認してください。
カスタムrobots.txtとrobotsヘッダータグは別の制御です
Bloggerではカスタムrobots.txtとカスタムrobotsヘッダータグを別々に設定できます。robots.txtのDisallowは一致するパスへのクロールアクセスを制御し、インデックスディレクティブは別の仕組みです。
クロールブロックをインデックス制御の代用にしないでください。検索エンジンがインデックスディレクティブを見るためにページをクロールする必要がある場合、そのURLをrobots.txtでブロックすると目的に反することがあります。
公開前にテストしたいBlogger URL
トップページ
/通常はクロール可能なままにします
最近の記事
/YYYY/MM/post-slug.html通常の記事が広いルールに巻き込まれていないか確認
固定ページ
/p/page-slug.html必要な固定ページがアクセス可能なままか確認
ラベル結果
/search/label/example検索・ラベル方針が意図どおり適用されるか確認
検索結果
/search?q=example検索結果のクロールが方針に合っているか確認
Sitemap
/sitemap.xml実際のSitemap URLが読み込め、ブロックされていないか確認
Blogger robots.txtのよくある質問
Bloggerでカスタムrobots.txtを有効にする必要がありますか？
通常は不要です。Bloggerには標準動作があります。具体的なクロール方針があり、上書きルールをテストできる場合だけ有効にしてください。
カスタムrobots.txtはBloggerの標準設定を置き換えますか？
はい。Bloggerの公式説明では、カスタムテキストが標準robots.txtを置き換えます。未確認のテンプレートをコピーするとクロール問題の原因になります。
Bloggerの /search はブロックすべきですか？
サイト内検索やラベル結果をクロール対象から外す判断はあり得ますが、自分のブログの実際のURLを確認し、通常の記事やページをテストしてから広いルールを使ってください。
robots.txtでBlogger URLのインデックス登録を防げますか？
robots.txtは主にクロールを制御します。インデックス制御は別で、URLをブロックするとページ上のインデックスディレクティブをクローラが確認できなくなる場合があります。