guides
Robots.txt pour les crawlers IA : recherche, entraînement et accès
Comment autoriser la recherche avec IA sans ouvrir tous les crawlers d’entraînement ?
Lire le guide →Base de connaissances
Guides robots.txt
Guides pratiques sur l’exploration, l’indexation, la portée par hôte, les sitemaps, les paramètres d’URL, le cache et le dépannage de robots.txt.
Guides Guides robots.txt
guides
Robots.txt et noindex : bien distinguer exploration et indexation
robots.txt peut-il empêcher l’indexation et quand faut-il utiliser noindex ?
Lire le guide →
guides
Crawl-delay dans robots.txt : Googlebot le prend-il en charge ?
Crawl-delay fonctionne-t-il avec Googlebot et comment réduire une charge d’exploration excessive ?
Lire le guide →
guides
Jokers robots.txt et priorité des règles : *, $ et correspondance la plus longue
Quelle règle l’emporte lorsque plusieurs Allow et Disallow correspondent à la même URL ?
Lire le guide →
guides
Codes HTTP de robots.txt : 200, 404, 403, 429 et 5xx
Comment Googlebot traite-t-il un robots.txt en 404, 403, 429 ou 500 ?
Lire le guide →
guides
Sitemap dans robots.txt : comment je l’ajoute et le vérifie
Où ajouter Sitemap dans robots.txt et comment vérifier plusieurs références ?
Lire le guide →
guides
Robots.txt et sous-domaines : comment nous vérifions la portée
Le robots.txt du domaine principal s’applique-t-il aux sous-domaines, HTTP, HTTPS ou autres ports ?
Lire le guide →
guides
Paramètres d’URL dans robots.txt : comment nous testons les facettes
Comment contrôler les URL à paramètres et facettes sans bloquer des pages utiles ?
Lire le guide →
guides
Taille et encodage de robots.txt : comment nous contrôlons les gros fichiers
Que se passe-t-il si robots.txt dépasse 500 KiB ou n’est pas en UTF-8 ?
Lire le guide →
guides
Robots.txt ou meta robots : comment je choisis le bon niveau de contrôle
Faut-il utiliser robots.txt, meta robots, X-Robots-Tag, canonical ou authentification ?
Lire le guide →
guides
Cache de robots.txt : comment nous vérifions qu’une modification est active
Combien de temps robots.txt reste-t-il en cache et comment distinguer cache du crawler et erreur de déploiement ?
Lire le guide →
guides
Robots.txt en préproduction : comment je garde le site de test hors de Google
Comment garder une préproduction hors de Google sans utiliser robots.txt comme sécurité ?
Lire le guide →