guides
AIクローラー向けrobots.txt：検索・学習・アクセス制御の違い
AI検索を残しながら学習用クローラーだけ制御するにはrobots.txtをどう設定する？
ガイドを読む →ナレッジベース
robots.txtガイド
クロール・インデックス制御、ホストごとの適用範囲、Sitemap、URLパラメータ、キャッシュ、robots.txtのトラブルシューティングを実務向けに解説します。
robots.txtガイドガイド
guides
robots.txtとnoindexの違い：クロールとインデックスを正しく制御
robots.txtだけでGoogleのインデックス登録を防げる？noindexはいつ使う？
ガイドを読む →
guides
robots.txtのCrawl-delay：Googlebotは対応している？
Crawl-delayはGooglebotに効く？サーバー負荷を下げるにはどうする？
ガイドを読む →
guides
robots.txtのワイルドカードと優先順位：*、$、最長一致
robots.txtで複数のAllowとDisallowが一致したとき、どのルールが優先される？
ガイドを読む →
guides
robots.txtのHTTPステータス：200・404・403・429・5xxの意味
robots.txtが404、403、429、500を返すとGooglebotはどう処理する？
ガイドを読む →
guides
robots.txtにSitemapを追加する方法：確認しているポイント
robots.txtにSitemapをどこへ追加し、複数サイトマップをどう確認する？
ガイドを読む →
guides
robots.txtとサブドメイン：適用範囲を確認する方法
ルートドメインのrobots.txtはサブドメインや別プロトコルにも適用される？
ガイドを読む →
guides
robots.txtでURLパラメータを制御するときの確認手順
URLパラメータやファセットをrobots.txtでどう制御すれば誤ブロックを防げる？
ガイドを読む →
guides
robots.txtのファイルサイズと文字コード：大きいファイルの確認方法
robots.txtが500 KiBを超えたりUTF-8でなかったりするとどうなる？
ガイドを読む →
guides
robots.txtとmeta robotsの違い：使い分ける基準
robots.txt、meta robots、X-Robots-Tag、canonical、認証はどう使い分ける？
ガイドを読む →
guides
robots.txtのキャッシュ：変更が反映されたか確認する方法
robots.txtのキャッシュはどれくらい続き、デプロイ失敗とどう切り分ける？
ガイドを読む →
guides
ステージング環境のrobots.txt：検索に出さないための確認手順
ステージングを検索に出さず、robots.txtをセキュリティ代わりにしない方法は？
ガイドを読む →