Test de règles explicable
Testeur de robots.txt
Collez un fichier robots.txt, choisissez un robot et testez une URL. Le résultat explique quel groupe User-agent correspond et quelle règle Allow ou Disallow la plus spécifique l’emporte.
Règles robots.txt
Collez des règles, chargez un fichier public ou envoyez des règles directement depuis le Générateur.
Résultat du test
Les décisions utilisent le même moteur de correspondance que le Vérificateur et les diagnostics du Générateur.
Bloqué
https://example.com/admin/login
La règle Disallow de la ligne 2 est la règle correspondante la plus spécifique.
Trace de décision
- Groupe du robot
- * (groupe générique de secours)
- Règle gagnante
- Disallow: /admin/
- Ligne source
- 2
- Spécificité de la règle
- 7 octets normalisés
Comparaison des robots
Comparez la première URL testée entre les tokens de recherche, recherche avec IA et contrôle IA : https://example.com/admin/login
Googlebot
Recherche
Disallow: /admin/
Bingbot
Recherche
Disallow: /admin/
OAI-SearchBot
Recherche avec IA
Disallow: /admin/
GPTBot
Contrôle / entraînement IA
Disallow: /admin/
Claude-SearchBot
Recherche avec IA
Disallow: /admin/
ClaudeBot
Contrôle / entraînement IA
Disallow: /admin/
PerplexityBot
Recherche avec IA
Disallow: /admin/
Google-Extended
Contrôle / entraînement IA
Disallow: /admin/
Pourquoi la règle gagnante compte
La correspondance robots.txt ne fonctionne pas selon le principe « première règle gagnante ». Le robot sélectionne le groupe User-agent applicable puis évalue les modèles Allow et Disallow correspondants. Le testeur affiche la règle utilisée pour la décision au lieu d’un simple oui/non.
Valider le fichier complet →Trace de décision
Les décisions utilisent le même moteur de correspondance que le Vérificateur et les diagnostics du Générateur.
Comparaison des robots
Les règles interprétables sont toujours évaluées lorsqu’il n’y a que des avertissements.
URL en lot
Jusqu’à 100 lignes uniques et non vides par exécution.
Références techniques
Les règles et conseils propres aux robots sont vérifiés à partir de normes primaires et de la documentation des fournisseurs, plutôt que copiés depuis d’autres outils SEO.
- RFC 9309
Syntaxe, correspondance, regroupement et encodage en pourcentage du Robots Exclusion Protocol.
- Spécification robots.txt de Google
Comportement robots.txt propre à Google et champs pris en charge.