WixではSEO & GEO → Tools and settings → Robots.txt Editorから確認し、公開ファイルと設定を比較します。
先にliveファイルを確認します
platform defaultを把握してからcustom ruleを追加します。
Reset to Defaultを復旧手段にします
履歴が不明なcustomizationでは、Reset to Defaultで既知の状態に戻す選択肢を残します。
noindexはページ設定で扱います
公開ページを検索結果から外す場合はindex/noindex設定を確認します。private pageはpasswordやmember accessで保護します。
保存後にテストします
/robots.txtを再取得し、validatorとtesterでURLごとの挙動を確認します。
役割を分けます
robots.txtはcrawl、ページ設定はindex、アクセス設定はprivate contentを担当します。
Wix側で既に管理される要素を先に確認します
Wixはrobots.txtを基本的に公開していますが、password、member area、page indexing設定によって個別ページの扱いが変わります。したがって「Blocked」と表示されたからといって、すぐRobots.txt Editorへ例外を追加しません。まずページの公開状態、index設定、access controlを確認します。
Robots.txt Editorはadvanced overrideとして扱い、現在のlive fileを保存し、対象URLを定義して最小変更だけを行い、publish後に再テストします。custom ruleの履歴が分からなくなった場合は Reset to Default も復旧手段です。
Reportがlive状態より遅れることがあります
本番robots.txtが正しいのにSearch Consoleが旧ruleを示す場合、再編集する前にlive responseとpage setting、対象hostを確認します。Wixの標準設定とcrawler policyが同じ目的を表す状態を作ります。
変更前にページ側の状態を確認します
Wixではrobots.txtだけでなく、EditorやSEO設定のindexing、password、member-only設定がpage visibilityに影響します。そのため、あるURLが検索に出ない・crawlされないという報告があっても、最初からRobots.txt Editorを変更しません。まず該当ページをpublic状態で開き、page-level indexing、access restriction、canonical、公開domainを確認します。ここで原因が見つかれば、robots.txtに例外を追加する必要はありません。
Robots.txt Editorを使う場合は、変更前のlive fileを保存し、影響を受けるURLと影響を受けてはいけないURLをリスト化します。広い Disallow を追加する際は、商品・カテゴリ・固定ページなど代表URLをtesterで確認します。custom ruleが増えすぎて意図を説明できない状態になったら、Reset to Defaultと現在の要件を比較して再構築します。
公開後の遅延を誤診しません
Wixで保存・公開した後、Search Consoleのreportがすぐ更新されないことがあります。まず実際の /robots.txt が新しいbodyを返しているかをcheckerで確認し、page設定も再確認します。live responseが正しいのにreportだけ古い場合、さらにruleを追加せず、crawlerの再取得を待つ判断ができます。設定と公開responseのどちらがsource of truthかを常に分けて確認します。
