Autoriser tous les robots
Une valeur Disallow vide ne bloque aucun chemin. Vous n’avez pas besoin d’un fichier robots.txt si le site ne comporte aucune restriction d’exploration.
User-agent: *
Disallow:
Modèles prêts à copier
Exemples de robots.txt
Modèles robots.txt courants pour Allow, Disallow, Sitemap, jokers et règles propres à certains robots. Utilisez-les comme point de départ et vérifiez le résultat sur votre propre site avant publication.
Bloquer tous les robots
Bloque tout le site pour les robots compatibles. À utiliser avec prudence et sans le considérer comme un contrôle d’accès.
User-agent: *
Disallow: /
Bloquer un répertoire
Bloque les URL dont le chemin commence par /private/.
User-agent: *
Disallow: /private/
Autoriser un chemin dans un répertoire bloqué
Une règle Allow plus spécifique peut autoriser un chemin à l’intérieur d’une zone bloquée plus largement.
User-agent: *
Disallow: /admin/
Allow: /admin/help/
Ajouter un sitemap
Les directives Sitemap utilisent une URL HTTP(S) absolue.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
Bloquer un motif de fichier
Le joker * peut correspondre à une suite de caractères dans un motif de chemin.
User-agent: *
Disallow: /*.pdf$
Bloquer uniquement Googlebot
Un groupe spécifique à Googlebot est évalué séparément du groupe générique.
User-agent: Googlebot
Disallow: /private-for-google/
Autoriser Googlebot et bloquer le groupe générique
Pour Googlebot, un groupe spécifique est prioritaire sur le groupe générique de secours.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Bloquer GPTBot et autoriser OAI-SearchBot
OpenAI documente GPTBot et OAI-SearchBot comme des contrôles distincts. Vérifiez la documentation actuelle du fournisseur avant de publier des règles spécifiques à un robot.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Type de site
Commencez par un chemin suggéré ou ajoutez le vôtre. Bloquez uniquement les chemins que vous souhaitez volontairement faire éviter aux robots compatibles.
WordPress
Démarre avec /wp-admin/ bloqué tout en laissant admin-ajax.php explorable.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml
E-commerce
Démarre ouvert, avec les chemins courants de panier, paiement, compte et recherche disponibles comme options rapides.
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Préproduction / tout bloquer
Bloque tout le site pour les robots compatibles. Utilisez aussi une authentification lorsque l’environnement doit rester privé.
User-agent: *
Disallow: /
Le mode de préproduction bloque volontairement tout le site. Utilisez une authentification si l’environnement doit rester privé.
Créez votre propre fichier
Utilisez le générateur lorsque vous devez combiner plusieurs chemins, ajouter plusieurs sitemaps ou créer des groupes spécifiques à certains robots.
Ouvrir le Générateur de robots.txtTestez avant publication
Les règles qui se chevauchent et les groupes User-agent spécifiques peuvent modifier le résultat. Testez des URL représentatives au lieu de supposer qu’un exemple se comportera partout de la même manière.
Ouvrir le Testeur de robots.txt →