WordPressのクロール制御
WordPress robots.txt設定・生成
WordPress向けの控えめな設定から始め、実際に管理しているサイトのパス、クローラグループ、サイトマップに合わせて調整します。万能な「最適robots.txt」をコピーするのではなく、説明できてテストできるルールを作ることが目的です。
編集モードを選択
簡易モードは素早い設定に向いています。詳細エディタではすべてのクローラグループとルールを編集できます。
クローラの用途別ポリシー
まず中立設定から始め、方針に合う場合だけAI関連クローラを制限してください。
中立の初期設定です。パスルールで明示的にブロックしない限り、検索、AI検索、AI制御クローラを許可します。
ブロックするパス
候補パスから選ぶか、独自パスを追加します。互換クローラに意図的に避けてほしいパスだけブロックしてください。
候補パス
独自パスを追加
任意のサイトパスを追加できます。先頭に / がない場合は自動追加され、完全なHTTP(S) URLはパスとクエリだけに変換されます。
検索
初期状態で許可
AI検索
初期状態で許可
AI制御 / 学習
初期状態で許可
公開前の確認
- 1. 生成
出力結果を確認します。 - 2. 検証
構文と互換性を確認します。 - 3. URLをテスト
重要なパスとクローラを確認します。 - 4. 公開
サイトのルートに /robots.txt として配置します。
生成されたrobots.txt
リアルタイム出力です。生成と検証はブラウザ内で処理されます。
User-agent: *Allow: /wp-admin/admin-ajax.phpDisallow: /wp-admin/ 構文または互換性の警告は検出されませんでした。
WordPress設定で行うこと
WordPress Coreはrobots.txtを動的に生成できます。標準応答には管理ディレクトリへのDisallowと、管理AJAXエンドポイントへのAllowが含まれます。この設定はその控えめなパターンを出発点にし、追加ルールがない限り他の領域を開放します。
Disallow /wp-admin/
互換クローラがWordPress管理ディレクトリをクロールしないようにします。これはクローラ向けの指示であり、セキュリティ対策ではありません。管理画面には通常どおり認証と保護が必要です。
Allow /wp-admin/admin-ajax.php
テーマやプラグインが公開ページで利用する場合があるAJAXエンドポイントをクロール可能に保ちます。広い /wp-admin/ ルールで必要な公開リソースを誤って隠さないためです。
WordPressの一次資料: WordPress Core do_robots() ドキュメント.
WordPressで確認したいrobots.txtの判断ポイント
プラグイン、EC機能、ファセットナビゲーション、サイト内検索、カスタム投稿タイプなどにより、標準構成にはないURLが生成されることがあります。広いDisallowルールを追加する前に実際のURLパターンを確認してください。
サイト内検索
WordPressの検索結果URLをブロックする場合、対象が意図したパスやパラメータだけか確認してください。通常の記事やカテゴリページまで巻き込む広いパターンは避けます。
WooCommerceとアカウント導線
カート、チェックアウト、アカウント、ウィッシュリスト、絞り込みカタログURLはクロール制御の候補ですが、正確なパスは設定やプラグインに依存します。公開前に代表的な商品・カテゴリURLをテストしてください。
ファセットURLとパラメータURL
フィルタは多数のクロール可能URLを生成する場合があります。robots.txtで特定パターンのクロール量を減らせますが、canonicalやインデックス設計の代わりにはなりません。
XMLサイトマップ
本番サイトが実際に配信しているSitemap URLを使ってください。WordPress CoreやSEOプラグインが提供する場合があるため、固定のURLを決めつけず公開URLを確認します。
WordPressの仮想robots.txtと物理robots.txt
WordPressはリクエストがWordPressに到達するとrobots.txtを動的に返せます。物理ファイルやサーバーレベルで配信するrobots.txtがある場合、実際の応答が変わることがあります。プラグインも生成内容を変更できます。
SEO上重要なのは、本番URLからクローラが実際に取得するファイルです。変更後はWordPressの設定画面やサーバー上のファイルだけで判断せず、確認ツールで公開中の応答を確認してください。
WordPressのrobots.txt変更前に確認すること
- 1
本番URLを確認
管理、検索、カート、アカウント、フィルタ、サイトマップの実際のURLを確認します。
- 2
ファイル全体を検証
不正なグループ、誤ったSitemap、危険なサイト全体ブロックを検出します。
- 3
代表的なURLをテスト
トップページ、記事、固定ページ、カテゴリ、必要なら商品、ブロック対象の各パスを含めます。
- 4
公開中の応答を確認
デプロイ後に公開ホストから /robots.txt を取得し、想定したルールが配信されていることを確認します。
WordPress robots.txtのよくある質問
すべてのWordPressサイトにカスタムrobots.txtが必要ですか？
いいえ。WordPressはrobots.txtを動的に生成できます。具体的なクロール方針を実装してテストする必要がある場合にだけカスタム設定を追加してください。
wp-adminはブロックすべきですか？
WordPress Coreは管理ディレクトリにDisallowを設定し、admin-ajax.phpをAllowします。ただしこれはクローラ向け指示であり、管理画面のセキュリティ保護ではありません。
WordPressの検索・フィルタページはブロックすべきですか？
必要な場合もありますが万能ルールはありません。実際のURLパターンとクロール目的に基づいて判断し、広いルールで重要ページをブロックしないようテストしてください。
robots.txtでWordPressページをnoindexにできますか？
できません。robots.txtは主にクロール制御です。クロール可能なURLを検索結果から除外したい場合は、Disallowだけでなく適切なインデックス制御を使用してください。