Kostenloses Online-Tool zur Crawler-Steuerung

Robots.txt Generator

Erstelle eine robots.txt-Datei, prüfe häufige Fehler bereits beim Bearbeiten und kopiere oder lade das Ergebnis anschließend herunter. Der Generator läuft im Browser und benötigt kein Konto.

Bearbeitungsmodus wählen

Der einfache Modus ist für schnelle Konfiguration sicherer. Der erweiterte Editor zeigt alle Crawler-Gruppen und Regeln.

Richtlinie nach Crawler-Zweck

Starte neutral und aktiviere KI-Crawler-Einschränkungen nur, wenn sie zu deiner Richtlinie passen.

Neutraler Standard: Such-, KI-Such- und KI-Steuerungs-Crawler bleiben offen, sofern deine Pfadregeln sie nicht ausdrücklich blockieren.

Zu blockierende Pfade

Starte mit einem vorgeschlagenen Pfad oder füge einen eigenen hinzu. Blockiere nur Pfade, die kompatible Crawler bewusst meiden sollen.

Vorgeschlagene Pfade

Eigenen Pfad hinzufügen

Füge einen beliebigen Website-Pfad hinzu. Pfade ohne führenden Slash erhalten automatisch einen; vollständige HTTP(S)-URLs werden auf Pfad und Query reduziert.

Suche

Standardmäßig erlaubt

KI-Suche

Standardmäßig erlaubt

KI-Steuerung / Training

Standardmäßig erlaubt

Vor der Veröffentlichung

  1. 1. Erstellen
    Live-Ausgabe prüfen.
  2. 2. Validieren
    Syntax und Kompatibilität prüfen.
  3. 3. URLs testen
    Wichtige Pfade und Crawler prüfen.
  4. 4. Veröffentlichen
    Als /robots.txt im Website-Stamm hochladen.

Erzeugte robots.txt

Live-Ausgabe; Erstellung und Validierung bleiben im Browser.

User-agent: *
0 Fehler0 Warnungen0 Hinweise

Keine Syntax- oder Kompatibilitätswarnungen erkannt.

Sicher erstellen

Erstelle User-agent-, Allow-, Disallow- und Sitemap-Direktiven, ohne jede Zeile manuell formatieren zu müssen.

Riskante Regeln erkennen

Erhalte Warnungen bei siteweiten Sperren, ungültigen Sitemap-URLs, nicht standardisierten Direktiven und häufigen Missverständnissen zur Indexierung.

Vor dem Veröffentlichen testen

Wechsle direkt von der Erstellung zur Validierung, Live-Prüfung und URL-Regelprüfung.

So erstellst du eine robots.txt-Datei

  1. 1

    Ausgangsvorlage wählen

    Starte mit einer Standard-, WordPress-, Blogger- oder Staging-Vorlage und prüfe anschließend jede Regel für deine eigene Website.

  2. 2

    Crawler-Regeln hinzufügen

    Trage pro Zeile einen Allow- oder Disallow-Pfad ein und lege die zentrale User-agent-Gruppe fest, für die die Regeln gelten.

  3. 3

    Crawler-spezifische Ausnahmen hinzufügen

    Im erweiterten Modus kannst du separate Gruppen für Crawler erstellen, die sich anders verhalten sollen als die Hauptregeln.

  4. 4

    Sitemap hinzufügen

    Verwende eine absolute HTTP(S)-Sitemap-URL wie https://example.com/sitemap.xml.

  5. 5

    Validierungswarnungen prüfen

    Auch eine formal gültig wirkende Datei kann gefährliche Regeln enthalten. Behebe Fehler und prüfe Warnungen vor der Veröffentlichung.

  6. 6

    Im Website-Stamm veröffentlichen

    Der Standardpfad ist /robots.txt, zum Beispiel https://example.com/robots.txt.

robots.txt macht Inhalte nicht privat

robots.txt steuert den Zugriff von Crawlern. Die Datei ist keine Authentifizierung und eine Crawling-Sperre garantiert nicht, dass eine URL nicht in Suchergebnissen erscheinen kann.

Crawling steuernrobots.txt
Nicht-Indexierung anfordernnoindex
Private Inhalte schützenAuthentifizierung / Autorisierung
So funktioniert robots.txt →

Such-Crawler und KI-bezogene Crawler-Kontrollen sind nicht dasselbe

Der erweiterte Bereich hält unterschiedliche Crawler-Tokens getrennt. Ein Anbieter kann zum Beispiel einen Crawler für Suchentdeckung und einen anderen Token für Modellentwicklung oder KI-Produktkontrollen dokumentieren. Verwende eine spezifische Regel nur dann, wenn sich dieser Crawler bewusst von den Hauptregeln unterscheiden soll.

Crawling für die Suche

Klassische Such-Crawler wie Googlebot und Bingbot entdecken und crawlen Inhalte für Suchprodukte.

Entdeckung für KI-Suche

Beispiele sind OAI-SearchBot, Claude-SearchBot und PerplexityBot. Prüfe die Dokumentation des Anbieters, bevor du den Zugriff änderst.

KI-Produktkontrollen

Tokens wie GPTBot, ClaudeBot und Google-Extended haben anbieterspezifische Zwecke und sollten nicht als gleichwertig behandelt werden.

robots.txt-Vorlagen für gängige Plattformen

Plattformvorlagen sind editierbare Ausgangspunkte, keine universellen Best Practices. Prüfe die tatsächlich verwendeten Pfade deiner Website vor der Veröffentlichung.

WordPress robots.txt

Erstelle eine WordPress-orientierte Ausgangskonfiguration und prüfe wp-admin, admin-ajax, Sitemap und Crawl-Regeln.

Tool öffnen →

Blogger robots.txt Generator

Erstelle eine Blogger-orientierte Datei und prüfe Such-, Label- und Sitemap-Verhalten vor dem Aktivieren eigener Regeln.

Tool öffnen →

Weitere robots.txt-Tools

Nutze eine eigene Seite, wenn sich die Aufgabe vom Erstellen zum Validieren, Prüfen oder Testen ändert.

Validator

Füge Regeln ein und finde Syntax- oder Kompatibilitätswarnungen.

Tool öffnen →

Checker

Rufe die veröffentlichte robots.txt einer Website ab und prüfe HTTP- sowie Regelverhalten.

Tool öffnen →

Tester

Teste, ob eine URL für einen Crawler erlaubt oder blockiert ist.

Tool öffnen →

Wissensdatenbank

Robots.txt Ratgeber

Praxisnahe Anleitungen zu Crawling, Indexierung, Host-Gültigkeitsbereich, Sitemaps, URL-Parametern, Cache und robots.txt-Fehlersuche.

Beispiele

Nutze praktische robots.txt Beispiele für freies Crawling, gesperrte Pfade, Sitemaps, Wildcards und crawler-spezifische Regeln.

→

Robots.txt Ratgeber

Praxiswissen zu KI-Crawlern, noindex, Sitemaps, Subdomains, URL-Parametern, Cache, Kodierung und robots.txt-Regeln.

→

Robots.txt nach Plattform

robots.txt-Konfiguration und Prüfung für Shopify, Next.js, Wix, Squarespace, Webflow und Magento / Adobe Commerce.

→

Passende Anleitungen

Technische Quellen

Regeln und Crawler-spezifische Hinweise werden anhand primärer Standards und Anbieterdokumentation geprüft, nicht von anderen SEO-Tools übernommen.

Zuletzt geprüft am 2026-09-10

Häufige Fragen

Wo muss robots.txt liegen?

Im Stamm des Hosts, den die Datei steuert, normalerweise unter /robots.txt.

Kann robots.txt eine URL aus Google entfernen?

robots.txt steuert in erster Linie Crawling. Wenn du die Indexierung verhindern möchtest, verwende die passende Indexierungssteuerung statt dich nur auf Disallow zu verlassen.

Unterstützt Google Crawl-delay?

Googlebot unterstützt die Crawl-delay-Direktive nicht. Der Validator weist deshalb darauf hin.

Soll ich alle KI-bezogenen Crawler blockieren?

Nicht automatisch. Unterschiedliche Crawler-Tokens können Suche, nutzerinitiierte Abrufe, Modellentwicklung oder andere anbieterspezifische Zwecke erfüllen. Entscheide pro Crawler und prüfe die aktuelle Dokumentation des Anbieters.

Ist dieser Generator kostenlos?

Ja. Die zentrale Erstellung und Validierung erfolgt im Browser und benötigt kein Konto.