Shopify genera automaticamente un file robots.txt per ogni negozio. La documentazione della piattaforma indica che il file predefinito funziona per la maggior parte dei negozi, quindi la scelta più sicura è capire prima la policy generata e personalizzarla solo per un’esigenza concreta.
Per modifiche avanzate Shopify permette un template robots.txt.liquid. La piattaforma avverte anche che una personalizzazione errata può causare una perdita significativa di traffico.
Dove si trova robots.txt in Shopify?
Alla radice del dominio principale:
https://example.com/robots.txt
Prima di modificare, salva una copia del file live. Non copiare robots.txt da un altro negozio: app, Markets, tema e regole di piattaforma possono differire.
Quando usare robots.txt.liquid
Una personalizzazione ha senso se esiste un obiettivo preciso, per esempio:
- un’app genera molte URL inutili;
- un percorso specifico deve essere reso scansionabile;
- serve dichiarare una sitemap aggiuntiva;
- un crawler documentato richiede una regola dedicata;
- vuoi controllare crawler IA sull’open web.
Un file più lungo non significa automaticamente SEO migliore.
Mantieni i default Shopify quando possibile
Liquid permette di aggiungere o rimuovere direttive conservando la base gestita dalla piattaforma. Sostituire tutto con testo statico può congelare una policy che non seguirà i cambiamenti futuri di Shopify.
Mantieni gli override piccoli e documentane il motivo.
Scansione e indicizzazione sono separate
Shopify spiega che un URL può essere scoperto e indicizzato tramite altri segnali anche se robots.txt ne blocca la scansione. Per questo può comparire “indicizzato, anche se bloccato da robots.txt”.
Per togliere una pagina pubblica dai risultati, Disallow non sostituisce noindex. Per dati privati usa autenticazione.
Sitemap
Shopify fornisce automaticamente infrastruttura sitemap. Se aggiungi una direttiva usa un URL assoluto:
Sitemap: https://example.com/sitemap.xml
Duplicare la stessa sitemap non porta valore extra; conta che contenga URL canonici e indicizzabili.
Crawler IA e Shopify Catalog
La documentazione Shopify distingue la scansione diretta dell’open web dalla distribuzione di dati prodotto tramite Shopify Catalog verso storefront agentici attivati.
Puoi consentire o bloccare User-agent specifici in robots.txt.liquid, ma bloccare un crawler in /robots.txt non interrompe automaticamente l’invio di dati tramite Shopify Catalog a un canale che hai attivato.
Distingui quindi:
- scansione diretta delle pagine pubbliche;
- scoperta tramite ricerca o IA;
- crawler specifico di un provider;
- distribuzione catalogo tramite canali Shopify.
Filtri, collezioni e ricerca richiedono attenzione
Prima di regole ampie, raccogli esempi di collezioni canoniche, URL filtrati, ricerca interna, prodotti con parametri, URL per market/lingua e route create dalle app. Un Allow troppo ampio può aprire uno spazio URL enorme.
Flusso sicuro
- Salva il
/robots.txtlive. - Scrivi l’obiettivo in una frase.
- Elenca URL da consentire e bloccare.
- Fai la minima modifica Liquid necessaria.
- Valida il robots.txt generato.
- Testa URL e User-agent rappresentativi.
- Pubblica e recupera di nuovo
/robots.txt. - Monitora Search Console e log.
- Riesamina la personalizzazione quando Shopify cambia.
Per la maggior parte dei negozi il file predefinito basta. Se serve una modifica, mantieni i default Shopify, limita l’override e testa il risultato realmente servito.
