No Magento/Adobe Commerce nós identificamos primeiro qual camada serve a loja pública.
Revisamos Content → Design → Configuration
No store view correto procuramos Search Engine Robots e depois verificamos /robots.txt no domínio real.
Default Robots é outra camada
Default Robots cuida de diretivas de indexação de páginas; não é sinônimo do arquivo de crawling.
Ecommerce exige teste real
Busca interna, conta, carrinho e facetas variam por loja. Não copiamos blocklists genéricos e usamos a guia de parâmetros.
Cloud muda o ambiente
No Adobe Commerce Cloud revisamos separação entre staging e produção, sitemap e controles de indexação.
PWA/headless pode ser o dono
Se PWA, headless frontend ou CDN entrega o host público, esse sistema pode controlar robots.txt. Nós verificamos Cloud, PWA/headless e resposta pública com o checker.
Adobe Commerce Cloud muda o troubleshooting
Em Cloud, robots.txt pode ser gerado sob demanda a partir de configuração, sem depender de arquivo físico no repositório. Sitemap e filesystem também têm restrições próprias. Quando a resposta está errada, identificamos primeiro se Commerce, Fastly/CDN, PWA ou frontend headless é o dono do host público.
Production, staging e integration não devem compartilhar cegamente a mesma política de indexação. Conferimos robots.txt, sitemap, hostname e estado de indexação por ambiente.
Headless e multi-store exigem auditoria por hostname
A documentação recente da Adobe diferencia storefront nativo de outras soluções. Uma PWA pode usar rotas de cart, account, search e filtros diferentes do Magento clássico. Mapeamos as URLs reais e configuramos o nível que serve a resposta pública. Em instalações com vários websites/store views repetimos a análise para cada hostname em vez de assumir uma única política global.
Facetas e busca interna entram no teste de produção
Em ecommerce, não basta validar a sintaxe. Montamos casos para produto canônico, categoria, busca interna, filtros, carrinho, conta e pelo menos uma URL com parâmetros. Em seguida verificamos qual camada respondeu a /robots.txt e se canonical/noindex continuam coerentes com a política de crawl. Isso reduz o risco de um bloqueio genérico economizar crawl às custas de páginas comerciais que deveriam permanecer descobertas.
