Con Magento/Adobe Commerce, noi identifichiamo prima il livello che serve lo storefront pubblico.
Partiamo da Content → Design → Configuration
Nello store view corretto controlliamo Search Engine Robots, poi confrontiamo /robots.txt sul dominio reale.
Default Robots è un controllo diverso
Default Robots gestisce direttive di indicizzazione delle pagine; non è il file di controllo del crawling.
Ecommerce richiede URL reali
Search, cart, account e facet cambiano tra negozi. Non copiamo blocklist generiche e usiamo la guida ai parametri per le URL faceted.
Cloud cambia il contesto di ambiente
In Adobe Commerce Cloud verifichiamo staging, production, sitemap e controlli di indicizzazione per ambiente.
PWA/headless può spostare l’ownership
Se PWA/headless frontend o CDN serve l’host pubblico, quel livello può possedere /robots.txt. Controlliamo Cloud, PWA/headless e risposta live con il checker.
Adobe Commerce Cloud cambia il troubleshooting
Su Cloud, robots.txt può essere generato on demand dalla configurazione senza un file fisico nel repository. Anche sitemap e filesystem hanno vincoli propri. Se la risposta live è errata, identifichiamo prima se il proprietario del dominio pubblico è Commerce, Fastly/CDN, PWA o frontend headless.
Production, staging e integration non devono condividere alla cieca la stessa policy di indicizzazione. Controlliamo robots.txt, sitemap, hostname e stato di indexing per ogni ambiente.
Headless e multi-store richiedono audit per host
La documentazione Adobe recente distingue storefront nativo e soluzioni alternative. Una PWA può avere route cart, account, search e filtri diverse dal Magento classico. Mappiamo gli URL effettivi del frontend e configuriamo il livello che serve la risposta pubblica. Con più website/store view ripetiamo ownership e policy per ciascun hostname.
Testiamo tipi di URL ecommerce reali
La validazione non si ferma alla sintassi. Prepariamo casi per prodotto canonico, categoria, ricerca interna, filtri, carrello, account e almeno un URL con parametri. Poi verifichiamo quale layer ha servito /robots.txt e se canonical/noindex restano coerenti con la crawl policy. Una regola generica non deve ridurre il crawl a costo di pagine commerciali importanti.
