WixではSEO & GEO → Tools and settings → Robots.txt Editorから確認し、公開ファイルと設定を比較します。
先にliveファイルを確認します
platform defaultを把握してからcustom ruleを追加します。
Reset to Defaultを復旧手段にします
履歴が不明なcustomizationでは、Reset to Defaultで既知の状態に戻す選択肢を残します。
noindexはページ設定で扱います
公開ページを検索結果から外す場合はindex/noindex設定を確認します。private pageはpasswordやmember accessで保護します。
保存後にテストします
/robots.txtを再取得し、validatorとtesterでURLごとの挙動を確認します。
役割を分けます
robots.txtはcrawl、ページ設定はindex、アクセス設定はprivate contentを担当します。
