変更が効かないとき、編集チームではリポジトリ、本番レスポンス、crawlerキャッシュを分けて確認します。
まず本番を取得します
正しいhostのステータス、最終URL、本文を確認します。古いCDNオブジェクトや失敗したデプロイをGoogleのキャッシュと混同しません。
24時間前後のキャッシュを考慮します
Googleはrobots.txtを通常およそ24時間キャッシュすると説明しています。状況により差があるため、数分ごとの再編集は避けます。
hostごとに確認します
apex、www、subdomainで公開ファイルが異なる場合があります。build、CDN、proxy、dynamic生成も追います。
HTTPエラーを先に分けます
5xxや429と、200で古い本文が返る状態は別問題です。
live状態を確認します
checkerで公開ファイル、testerでURL判定を確認し、必要に応じてSearch Consoleやログを使います。
