Magento/Adobe Commerceでは、最初にpublic storefrontをどのレイヤーが配信しているか確認します。
Content → Design → Configurationを確認します
対象store viewでSearch Engine Robotsを確認し、実ドメインの/robots.txtと比較します。
Default Robotsは別の設定です
Default Robotsはページのindexing directiveで、robots.txtのcrawl ruleそのものではありません。
ecommerce URLを実際にテストします
search、cart、account、facetはstoreごとに異なります。generic blocklistを貼らず、parameter URLはパラメータガイドで判断します。
Cloudでは環境差を確認します
Adobe Commerce Cloudではstaging、本番、sitemap、indexing policyの違いを確認します。
PWA/headlessでownerが変わる場合があります
PWA/headless frontendやCDNがpublic hostを配信するなら、その層が/robots.txtを所有する可能性があります。checkerでlive responseを確認します。
