Crawler-Steuerung für WordPress
WordPress Robots.txt Generator
Starte mit einer konservativen WordPress-Vorlage und passe anschließend Pfade, Crawler-Gruppen und die Sitemap der Website an, die du tatsächlich verwaltest. Ziel ist nicht, eine vermeintlich universelle „beste robots.txt“ zu kopieren, sondern Regeln zu erstellen, die du erklären und testen kannst.
Bearbeitungsmodus wählen
Der einfache Modus ist für schnelle Konfiguration sicherer. Der erweiterte Editor zeigt alle Crawler-Gruppen und Regeln.
Richtlinie nach Crawler-Zweck
Starte neutral und aktiviere KI-Crawler-Einschränkungen nur, wenn sie zu deiner Richtlinie passen.
Neutraler Standard: Such-, KI-Such- und KI-Steuerungs-Crawler bleiben offen, sofern deine Pfadregeln sie nicht ausdrücklich blockieren.
Zu blockierende Pfade
Starte mit einem vorgeschlagenen Pfad oder füge einen eigenen hinzu. Blockiere nur Pfade, die kompatible Crawler bewusst meiden sollen.
Vorgeschlagene Pfade
Eigenen Pfad hinzufügen
Füge einen beliebigen Website-Pfad hinzu. Pfade ohne führenden Slash erhalten automatisch einen; vollständige HTTP(S)-URLs werden auf Pfad und Query reduziert.
Suche
Standardmäßig erlaubt
KI-Suche
Standardmäßig erlaubt
KI-Steuerung / Training
Standardmäßig erlaubt
Vor der Veröffentlichung
- 1. Erstellen
Live-Ausgabe prüfen. - 2. Validieren
Syntax und Kompatibilität prüfen. - 3. URLs testen
Wichtige Pfade und Crawler prüfen. - 4. Veröffentlichen
Als /robots.txt im Website-Stamm hochladen.
Erzeugte robots.txt
Live-Ausgabe; Erstellung und Validierung bleiben im Browser.
User-agent: *Allow: /wp-admin/admin-ajax.phpDisallow: /wp-admin/ Keine Syntax- oder Kompatibilitätswarnungen erkannt.
Was die WordPress-Vorlage macht
WordPress Core kann robots.txt dynamisch erzeugen. Die Antwort enthält eine Disallow-Regel für das Admin-Verzeichnis und eine Allow-Regel für den Admin-AJAX-Endpunkt. Diese Vorlage folgt diesem konservativen Muster und lässt den Rest der Website offen, sofern du keine weiteren Regeln hinzufügst.
Disallow /wp-admin/
Hält kompatible Crawler aus dem WordPress-Admin-Verzeichnis heraus. Das ist ein Crawler-Hinweis, keine Sicherheitsbarriere; der Admin-Bereich benötigt weiterhin Authentifizierung und normale Schutzmaßnahmen.
Allow /wp-admin/admin-ajax.php
Hält den Crawling-Zugriff auf einen Frontend-Endpunkt offen, den Themes und Plugins nutzen können. Eine breite /wp-admin/-Regel sollte nicht versehentlich eine Ressource ausblenden, die öffentliche Seiten benötigen.
Primäre WordPress-Quelle: WordPress-Core-Dokumentation zu do_robots().
robots.txt-Entscheidungen in WordPress, die du prüfen solltest
Plugins, E-Commerce-Funktionen, Facettennavigation, interne Suche und Custom Post Types können URLs erzeugen, die in einer Basisinstallation nicht vorkommen. Prüfe diese Muster, bevor du breite Disallow-Regeln hinzufügst.
Interne Suche
Wenn du WordPress-Suchergebnisse blockierst, prüfe, ob die Regel nur die gewünschten Pfade oder Parameter trifft. Vermeide breite Muster, die auch normale Beiträge oder Kategorieseiten erfassen.
WooCommerce und Kontobereiche
Warenkorb-, Checkout-, Konto-, Wunschlisten- und gefilterte Katalog-URLs können Kandidaten für Crawling-Steuerung sein, aber die genauen Pfade hängen von Konfiguration und Plugins ab. Teste repräsentative Produkt- und Kategorie-URLs vor der Veröffentlichung.
Facettierte und parametrisierte URLs
Filter können viele crawlbare URL-Kombinationen erzeugen. robots.txt kann das Crawling bestimmter Muster reduzieren, ersetzt aber keine bewusste Canonical- und Indexierungsstrategie.
XML-Sitemaps
Verwende die Sitemap-URL, die deine Produktionswebsite tatsächlich ausliefert. WordPress Core oder ein SEO-Plugin kann die Sitemap bereitstellen. Prüfe daher die Live-URL, statt einen festen Endpunkt anzunehmen.
Virtuelle oder physische robots.txt in WordPress
WordPress kann robots.txt dynamisch ausliefern, wenn die Anfrage WordPress erreicht. Eine physische oder serverseitig ausgelieferte robots.txt kann das tatsächlich zurückgegebene Ergebnis verändern. Plugins können die erzeugte Antwort ebenfalls modifizieren.
Für SEO zählt die Datei, die Crawler an der Produktions-URL erhalten. Prüfe nach Änderungen die Live-Antwort mit dem Checker, statt anzunehmen, dass der WordPress-Editor, ein Plugin oder eine Datei auf dem Server die endgültige Antwort repräsentiert.
Vor einer robots.txt-Änderung in WordPress
- 1
Produktionspfade bestätigen
Prüfe die tatsächlichen URLs für Admin, Suche, Warenkorb, Konto, Filter und Sitemap.
- 2
Gesamte Datei validieren
Finde fehlerhafte Gruppen, falsche Sitemap-Direktiven und gefährliche siteweite Blockierungen.
- 3
Repräsentative URLs testen
Teste Startseite, Beitrag, Seite, Kategorie, gegebenenfalls Produkt sowie alle Pfade, die du blockieren möchtest.
- 4
Live-Antwort prüfen
Rufe nach dem Deployment /robots.txt vom öffentlichen Host ab und bestätige, dass die erwarteten Regeln ausgeliefert werden.
Häufige Fragen zu WordPress robots.txt
Benötigt jede WordPress-Website eine eigene robots.txt?
Nein. WordPress kann robots.txt dynamisch erzeugen. Eine eigene Datei ist nur sinnvoll, wenn du eine konkrete Crawling-Richtlinie umsetzen und testen möchtest.
Sollte ich wp-admin blockieren?
WordPress Core enthält eine Disallow-Regel für das Admin-Verzeichnis und erlaubt den Admin-AJAX-Endpunkt. Das ist nur eine Crawler-Anweisung und schützt den Admin-Bereich nicht.
Sollte ich WordPress-Suche und Filterseiten blockieren?
Manchmal, aber es gibt keine universelle Regel. Entscheide anhand deiner tatsächlichen URL-Muster und Crawling-Ziele und teste wichtige Seiten, damit breite Muster keine wertvollen Inhalte blockieren.
Kann robots.txt WordPress-Seiten auf noindex setzen?
Nein. robots.txt steuert in erster Linie Crawling. Wenn eine crawlbare URL nicht in Suchergebnissen erscheinen soll, nutze eine passende Indexierungssteuerung statt nur Disallow.