編集チームでは目的から選びます。robots.txtはクロール、noindexはインデックス、canonicalは重複統合、redirectは移転、認証は非公開アクセスのための仕組みです。
robots.txtはクロール制御です
Disallowを検索結果からの削除命令として扱いません。
meta robotsは取得できる必要があります
<meta name="robots" content="noindex">
robots.txtで同じURLをブロックすると、crawlerがnoindexを読めない場合があります。
X-Robots-TagはHTTPヘッダーで使えます
X-Robots-Tag: noindex
PDFなどHTML以外にも利用できます。
canonicalはセキュリティではありません
canonicalはシグナル統合用です。非公開情報には認証や認可を使います。
判断後に本番を確認します
非公開→認証、公開だが検索除外→noindex/X-Robots-Tag、重複→canonical/redirect、クロール浪費→robots.txtを検討し、最後にcheckerで確認します。
