Outil gratuit de contrôle de l’exploration

Générateur de robots.txt

Créez un fichier robots.txt, détectez les erreurs courantes pendant la modification, puis copiez-le ou téléchargez-le. Le générateur fonctionne dans votre navigateur et ne nécessite aucun compte.

Choisissez le mode d’édition

Le mode simple est plus sûr pour une configuration rapide. L’éditeur avancé affiche tous les groupes de robots et toutes les règles.

Politique selon l’usage du robot

Commencez avec une configuration neutre, puis appliquez des restrictions aux robots liés à l’IA uniquement si elles correspondent à votre politique.

Valeur neutre : laissez ouverts les robots de recherche, de recherche avec IA et de contrôle IA sauf si vos règles de chemin les bloquent explicitement.

Chemins à bloquer

Commencez par un chemin suggéré ou ajoutez le vôtre. Bloquez uniquement les chemins que vous souhaitez volontairement faire éviter aux robots compatibles.

Chemins suggérés

Ajouter un chemin personnalisé

Ajoutez n’importe quel chemin du site. Un chemin sans barre initiale en reçoit une automatiquement ; une URL HTTP(S) complète est réduite à son chemin et sa requête.

Recherche

Autorisé par défaut

Recherche avec IA

Autorisé par défaut

Contrôle / entraînement IA

Autorisé par défaut

Avant de publier

  1. 1. Générer
    Examinez le résultat en direct.
  2. 2. Valider
    Vérifiez la syntaxe et la compatibilité.
  3. 3. Tester les URL
    Vérifiez les chemins et robots importants.
  4. 4. Publier
    Publiez le fichier sous /robots.txt à la racine du site.

robots.txt généré

Résultat en direct ; la génération et la validation restent dans votre navigateur.

User-agent: *
0 erreur0 avertissement0 remarque

Aucun avertissement de syntaxe ou de compatibilité détecté.

Générez en toute sécurité

Créez des directives User-agent, Allow, Disallow et Sitemap sans mettre en forme chaque ligne manuellement.

Repérez les règles risquées

Recevez des avertissements pour les blocages de tout le site, les URL de sitemap invalides, les directives non standard et les erreurs fréquentes concernant l’indexation.

Testez avant de publier

Passez de la génération à la validation, à la vérification en ligne et au test d’URL sans quitter le site.

Comment créer un fichier robots.txt

  1. 1

    Choisissez un modèle de départ

    Commencez par un modèle standard, WordPress, Blogger ou de préproduction, puis vérifiez chaque règle pour votre propre site.

  2. 2

    Ajoutez des règles d’exploration

    Saisissez un chemin Allow ou Disallow par ligne et indiquez le groupe User-agent principal auquel les règles s’appliquent.

  3. 3

    Ajoutez des exceptions par robot

    Les contrôles avancés permettent de créer des groupes séparés pour les robots qui doivent se comporter différemment des règles principales.

  4. 4

    Ajoutez votre sitemap

    Utilisez une URL HTTP(S) absolue pour le sitemap, par exemple https://example.com/sitemap.xml.

  5. 5

    Examinez les avertissements de validation

    Un fichier qui semble valide peut encore contenir une règle dangereuse. Corrigez les erreurs et examinez les avertissements avant publication.

  6. 6

    Publiez-le à la racine du site

    L’emplacement standard est /robots.txt, par exemple https://example.com/robots.txt.

robots.txt ne rend pas une page privée

robots.txt contrôle l’accès des robots d’exploration. Ce n’est pas un système d’authentification, et bloquer l’exploration d’une URL ne garantit pas qu’elle ne puisse pas apparaître dans les résultats de recherche.

Contrôler l’explorationrobots.txt
Demander la non-indexationnoindex
Protéger du contenu privéauthentification / autorisation
Comprendre le fonctionnement de robots.txt →

Les robots de recherche et les contrôles liés à l’IA ne sont pas identiques

La section avancée conserve séparément les différents tokens de robots. Un fournisseur peut par exemple documenter un robot pour la découverte en recherche et un autre token pour le développement de modèles ou les contrôles de produits d’IA. N’utilisez une règle spécifique que si vous souhaitez volontairement un comportement différent du groupe User-agent principal.

Exploration pour la recherche

Les robots de recherche traditionnels comme Googlebot et Bingbot découvrent et explorent du contenu pour les produits de recherche.

Découverte via la recherche avec IA

OAI-SearchBot, Claude-SearchBot et PerplexityBot en sont des exemples. Consultez la documentation du fournisseur avant de modifier leur accès.

Contrôles des produits d’IA

Des tokens comme GPTBot, ClaudeBot et Google-Extended ont des objectifs propres à chaque fournisseur et ne doivent pas être considérés comme équivalents.

Modèles robots.txt pour les plateformes courantes

Les modèles de plateforme sont des points de départ modifiables, pas des bonnes pratiques universelles. Vérifiez les chemins réellement utilisés par votre site avant publication.

robots.txt pour WordPress

Générez un point de départ adapté à WordPress et vérifiez wp-admin, admin-ajax, le sitemap et les règles d’exploration.

Ouvrir l’outil →

Générateur de robots.txt pour Blogger

Créez un fichier adapté à Blogger et vérifiez la recherche, les libellés et le sitemap avant d’activer des règles personnalisées.

Ouvrir l’outil →

Outils robots.txt associés

Utilisez une page dédiée lorsque votre tâche passe de la création du fichier à sa validation, sa vérification ou son test.

Validateur

Collez des règles et repérez les erreurs de syntaxe ou les avertissements de compatibilité.

Ouvrir l’outil →

Vérificateur

Récupérez le robots.txt publié d’un site et examinez sa réponse HTTP et le comportement des règles.

Ouvrir l’outil →

Testeur

Testez si une URL est autorisée ou bloquée pour un robot.

Ouvrir l’outil →

Base de connaissances

Guides robots.txt

Guides pratiques sur l’exploration, l’indexation, la portée par hôte, les sitemaps, les paramètres d’URL, le cache et le dépannage de robots.txt.

Exemples

Consultez des exemples pratiques pour autoriser les robots, bloquer des chemins, ajouter des sitemaps, utiliser des jokers et des règles ciblées.

→

Guides robots.txt

Guides sur les robots d’IA, noindex, sitemaps, sous-domaines, paramètres d’URL, cache, encodage et règles robots.txt.

→

Guides robots.txt par plateforme

Configuration et vérification de robots.txt sur Shopify, Next.js, Wix, Squarespace, Webflow et Magento / Adobe Commerce.

→

Guides associés

Références techniques

Les règles et conseils propres aux robots sont vérifiés à partir de normes primaires et de la documentation des fournisseurs, plutôt que copiés depuis d’autres outils SEO.

Dernière vérification le 2026-09-10

Questions fréquentes

Où doit se trouver robots.txt ?

À la racine de l’hôte qu’il contrôle, généralement sous /robots.txt.

robots.txt peut-il supprimer une URL de Google ?

Il contrôle principalement l’exploration. Si votre objectif est d’empêcher l’indexation, utilisez le contrôle d’indexation approprié au lieu de compter uniquement sur Disallow.

Google prend-il en charge Crawl-delay ?

Googlebot ne prend pas en charge la directive Crawl-delay ; le validateur affiche donc un avertissement lorsqu’elle apparaît.

Faut-il bloquer tous les robots liés à l’IA ?

Pas automatiquement. Les différents tokens peuvent servir à la recherche, à la récupération demandée par l’utilisateur, au développement de modèles ou à d’autres usages propres au fournisseur. Décidez robot par robot et vérifiez la documentation actuelle du fournisseur.

Ce générateur est-il gratuit ?

Oui. La génération et la validation principales s’effectuent dans le navigateur et ne nécessitent aucun compte.