Kopierfertige Muster

Robots.txt Beispiele

Gängige robots.txt-Muster für Allow, Disallow, Sitemap, Wildcards und Crawler-spezifische Regeln. Nutze sie als Ausgangspunkt und teste das Ergebnis auf deiner eigenen Website vor der Veröffentlichung.

Alle Crawler erlauben

Ein leerer Disallow-Wert blockiert keinen Pfad. Wenn eine Website keine Crawling-Beschränkungen hat, ist eine robots.txt-Datei nicht zwingend nötig.

User-agent: *
Disallow:

Alle Crawler blockieren

Blockiert die gesamte Website für kompatible Crawler. Mit Vorsicht verwenden und nicht als Zugriffsschutz behandeln.

User-agent: *
Disallow: /

Ein Verzeichnis blockieren

Blockiert URLs, deren Pfad mit /private/ beginnt.

User-agent: *
Disallow: /private/

Pfad innerhalb eines blockierten Verzeichnisses erlauben

Eine spezifischere Allow-Regel kann einen Pfad innerhalb eines breiter blockierten Bereichs freigeben.

User-agent: *
Disallow: /admin/
Allow: /admin/help/

Sitemap hinzufügen

Sitemap-Direktiven verwenden eine absolute HTTP(S)-URL.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Dateimuster blockieren

Die Wildcard * kann innerhalb eines Pfadmusters eine Zeichenfolge abgleichen.

User-agent: *
Disallow: /*.pdf$

Nur Googlebot blockieren

Eine spezifische Googlebot-Gruppe wird getrennt von der Wildcard-Gruppe ausgewertet.

User-agent: Googlebot
Disallow: /private-for-google/

Googlebot erlauben und Wildcard-Gruppe blockieren

Für Googlebot hat eine spezifische Gruppe Vorrang vor der Wildcard-Fallback-Gruppe.

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

GPTBot blockieren und OAI-SearchBot erlauben

OpenAI dokumentiert GPTBot und OAI-SearchBot als getrennte Steuerungen. Prüfe die aktuelle Anbieterdokumentation, bevor du Crawler-spezifische Regeln veröffentlichst.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Website-Typ

Starte mit einem vorgeschlagenen Pfad oder füge einen eigenen hinzu. Blockiere nur Pfade, die kompatible Crawler bewusst meiden sollen.

WordPress

Startet mit blockiertem /wp-admin/, während admin-ajax.php crawlbar bleibt.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

E-Commerce

Startet offen; typische Warenkorb-, Checkout-, Konto- und Suchpfade stehen als Schnelloptionen bereit.

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Staging / alles blockieren

Blockiert kompatible Crawler auf der gesamten Website. Nutze zusätzlich Authentifizierung, wenn die Umgebung privat bleiben muss.

User-agent: *
Disallow: /

Der Staging-Modus blockiert absichtlich die gesamte Website. Nutze Authentifizierung, wenn die Umgebung privat bleiben muss.

Eigene Datei erstellen

Nutze den Generator, wenn du mehrere Pfade kombinieren, mehrere Sitemaps hinzufügen oder Crawler-spezifische Gruppen erstellen möchtest.

Robots.txt Generator öffnen

Vor der Veröffentlichung testen

Überlappende Regeln und spezifische User-agent-Gruppen können das Ergebnis verändern. Teste repräsentative URLs, statt anzunehmen, dass ein Beispiel überall gleich funktioniert.

Robots.txt Tester öffnen →