Audit du site en ligne
Vérificateur robots.txt
Saisissez l’URL d’un site pour récupérer son fichier robots.txt à la racine et examiner la réponse HTTP, la taille du fichier et les avertissements de validation.
Récupère /robots.txt à la racine, suit en sécurité jusqu’à cinq redirections, bloque les destinations privées/locales et arrête la lecture au-delà de 500 Kio.
Saisissez un site public pour vérifier si robots.txt existe, si les robots de recherche peuvent accéder à la racine et ce qui nécessite votre attention.
Vérificateur ou validateur ?
Le vérificateur récupère le fichier /robots.txt réellement publié par un site. Le validateur ne fait aucune requête réseau : il analyse directement le texte que vous collez.
Besoin de tester une URL précise ?
Utilisez le testeur pour savoir si une URL spécifique est autorisée ou bloquée pour un robot donné.
Ouvrir le Testeur de robots.txt →Résultat rapide
Commencez ici. Ouvrez Détails techniques seulement si vous avez besoin d’informations HTTP, de redirections, de groupes de robots ou de validation.
Accès de recherche à la racine
L’accès à la racine ne vérifie que /. Utilisez le Testeur pour vérifier des URL et chemins importants individuellement ou en lot.
Que dois-je corriger ?
Priorité calculée à partir de l’accès des robots et des diagnostics de validation.
Références techniques
Les règles et conseils propres aux robots sont vérifiés à partir de normes primaires et de la documentation des fournisseurs, plutôt que copiés depuis d’autres outils SEO.
- RFC 9309
Syntaxe, correspondance, regroupement et encodage en pourcentage du Robots Exclusion Protocol.
- Spécification robots.txt de Google
Comportement robots.txt propre à Google et champs pris en charge.