ステージング環境のrobots.txt：検索に出さないためのチーム運用

編集チームではステージングの第一層をrobots.txtではなくアクセス制御として設計します。

非公開環境には認証を使います

password、認証、network restrictionなどで実際に保護します。Disallow: /はセキュリティではありません。

公開previewにはnoindexを検討します

レビュー用に公開する必要がある場合、crawlerが読める状態でnoindexを返します。

robots.txtは補助層です

User-agent: *
Disallow: /

クロール抑制には使えますが、認証やnoindexの代替にはしません。

stagingと本番を分離します

両hostを確認し、staging sitemapを外し、Disallow: /が本番設定へ昇格しないようにします。

release前にテストします

本番URLをtesterで確認し、公開robots.txtをcheckerで確認します。