Shopify génère automatiquement un fichier robots.txt pour chaque boutique. Sa documentation indique que le fichier par défaut convient à la plupart des boutiques. La bonne approche est donc de comprendre d’abord la politique générée et de ne la personnaliser que pour un besoin précis.
Pour des modifications avancées, Shopify permet d’utiliser robots.txt.liquid. La plateforme avertit qu’une mauvaise personnalisation peut provoquer une perte importante de trafic.
Où se trouve robots.txt dans Shopify ?
À la racine du domaine principal :
https://example.com/robots.txt
Avant toute modification, conservez une copie du fichier en ligne. Ne copiez pas celui d’une autre boutique : apps, Markets, thème et règles de plateforme peuvent différer.
Quand créer robots.txt.liquid ?
Une modification se justifie notamment si :
- une app génère beaucoup d’URL inutiles ;
- un chemin précis doit être rendu explorable ;
- une sitemap supplémentaire doit être déclarée ;
- un crawler documenté nécessite une règle dédiée ;
- vous définissez l’accès de crawlers IA sur le web ouvert.
Un fichier plus long n’est pas automatiquement meilleur pour le SEO.
Conserver les règles Shopify autant que possible
Liquid permet d’ajouter ou retirer des directives tout en gardant la base maintenue par Shopify. Remplacer tout le fichier par du texte statique peut figer une politique qui vieillira avec les changements de la plateforme.
Limitez les overrides et documentez leur raison.
Exploration et indexation sont différentes
Shopify explique qu’une URL peut être découverte et indexée par d’autres signaux même si robots.txt bloque son exploration. D’où le message « indexée malgré un blocage robots.txt ».
Pour retirer une page publique des résultats, Disallow ne remplace pas noindex. Pour une donnée privée, utilisez une authentification.
Sitemap
Shopify fournit automatiquement une infrastructure de sitemap. Si vous ajoutez une directive :
Sitemap: https://example.com/sitemap.xml
La duplication de la même sitemap n’apporte rien ; le contenu doit surtout lister des URL canoniques et indexables.
Crawlers IA et Shopify Catalog
La documentation Shopify distingue le crawl direct via le web ouvert de la distribution de données produits via Shopify Catalog vers des canaux agentiques activés.
Vous pouvez permettre ou bloquer certains User-agents dans robots.txt.liquid, mais bloquer un crawler dans /robots.txt ne stoppe pas automatiquement l’envoi de données via Shopify Catalog à un canal que vous avez activé.
Distinguez donc :
- exploration directe des pages publiques ;
- découverte via recherche ou IA ;
- crawler propre à un fournisseur ;
- distribution du catalogue via les canaux Shopify.
Filtres, collections et recherche
Avant une règle large, réunissez des exemples de collections canoniques, filtres, recherche interne, produits avec paramètres, URL de marchés/langues et routes d’apps. Un Allow trop large peut ouvrir un espace d’URL énorme.
Procédure sûre
- Sauvegarder le
/robots.txten ligne. - Décrire l’objectif en une phrase.
- Lister URL à autoriser et bloquer.
- Faire la plus petite modification Liquid possible.
- Valider le fichier généré.
- Tester URL et User-agents représentatifs.
- Publier puis récupérer à nouveau
/robots.txt. - Surveiller Search Console et logs.
- Réexaminer la personnalisation après les changements Shopify.
Pour la plupart des boutiques, le fichier par défaut suffit. Quand un changement est nécessaire, préservez les règles Shopify, limitez l’override et testez le résultat réellement servi.
