Crawler-Steuerung für Blogger

Blogger Robots.txt Generator

Erstelle nur dann eine eigene robots.txt für Blogger, wenn du eine konkrete Crawling-Richtlinie umsetzen möchtest. Blogger liefert bereits Standardverhalten für robots.txt aus. Eigene Regeln sollten daher als bewusste Überschreibung und nicht als verpflichtende SEO-Einstellung verstanden werden.

Die meisten Blogger-Websites benötigen keine eigene robots.txt

Laut Blogger-Dokumentation ersetzt dein eigener Text den Standardinhalt von robots.txt, sobald du die benutzerdefinierte robots.txt aktivierst. Wenn du kein konkretes Crawling-Problem lösen musst, ist die Plattform-Voreinstellung der sicherere Ausgangspunkt.

Bearbeitungsmodus wählen

Der einfache Modus ist für schnelle Konfiguration sicherer. Der erweiterte Editor zeigt alle Crawler-Gruppen und Regeln.

Richtlinie nach Crawler-Zweck

Starte neutral und aktiviere KI-Crawler-Einschränkungen nur, wenn sie zu deiner Richtlinie passen.

Neutraler Standard: Such-, KI-Such- und KI-Steuerungs-Crawler bleiben offen, sofern deine Pfadregeln sie nicht ausdrücklich blockieren.

Zu blockierende Pfade

Starte mit einem vorgeschlagenen Pfad oder füge einen eigenen hinzu. Blockiere nur Pfade, die kompatible Crawler bewusst meiden sollen.

Vorgeschlagene Pfade

Eigenen Pfad hinzufügen

Füge einen beliebigen Website-Pfad hinzu. Pfade ohne führenden Slash erhalten automatisch einen; vollständige HTTP(S)-URLs werden auf Pfad und Query reduziert.

Suche

Standardmäßig erlaubt

KI-Suche

Standardmäßig erlaubt

KI-Steuerung / Training

Standardmäßig erlaubt

Vor der Veröffentlichung

  1. 1. Erstellen
    Live-Ausgabe prüfen.
  2. 2. Validieren
    Syntax und Kompatibilität prüfen.
  3. 3. URLs testen
    Wichtige Pfade und Crawler prüfen.
  4. 4. Veröffentlichen
    Als /robots.txt im Website-Stamm hochladen.

Erzeugte robots.txt

Live-Ausgabe; Erstellung und Validierung bleiben im Browser.

User-agent: *Disallow: /searchDisallow: /search/label/
0 Fehler0 Warnungen0 Hinweise

Keine Syntax- oder Kompatibilitätswarnungen erkannt.

Was die Blogger-Vorlage steuern soll

Blogger stellt häufig Such- und Label-Ergebnis-URLs bereit, die sich von normalen Beitrags- und Seiten-URLs unterscheiden. Die Vorlage startet mit konservativen Sperren für Suchpfade, die du überprüfen kannst. Sie bleibt aber nur ein Ausgangspunkt für dein eigenes Blog.

Suchergebnis-URLs

Die Vorlage enthält /search, damit kompatible Crawler Blogger-Suchergebnispfade meiden. Prüfe die genauen URLs, die Theme und Navigation erzeugen, bevor du die Regel beibehältst oder erweiterst.

Label-Ergebnis-URLs

Blogger-Labelseiten liegen häufig unter /search/label/. Teste eine echte Label-URL und eine normale Beitrags-URL, bevor du veröffentlichst, damit ein breites Muster keine gewünschten Inhalte erfasst.

Beiträge und Seiten

Deine wichtigsten Beiträge und statischen Seiten sollten normalerweise crawlbar bleiben, sofern du nicht bewusst eine andere Richtlinie festlegst. Teste mindestens eine repräsentative URL pro Inhaltstyp.

Sitemap-Direktive

Verwende die Sitemap-URL, die dein Produktionsblog tatsächlich ausliefert. Kopiere keine alten Atom-Feed- oder Mobile-Parameter-Beispiele aus fremden Tutorials, ohne die Live-URL zu prüfen.

Eigene robots.txt in Blogger verwenden

  1. 1

    Prüfen, ob eine Überschreibung nötig ist

    Wenn das Blogger-Standardverhalten bereits zu deiner Crawling-Richtlinie passt, aktiviere keine eigene Datei nur deshalb, weil ein SEO-Tutorial eine Vorlage anbietet.

  2. 2

    Regeln erstellen und prüfen

    Vergleiche jeden blockierten Pfad mit URLs, die in deinem Blog tatsächlich existieren. Entferne Regeln, die du nicht erklären kannst.

  3. 3

    Crawler und Indexierung öffnen

    Aktiviere in den Blogger-Einstellungen die benutzerdefinierte robots.txt erst, wenn du bereit bist, den Standardinhalt durch den geprüften Text zu ersetzen.

  4. 4

    Vor und nach dem Speichern testen

    Prüfe einen Beitrag, eine Seite, eine Label-URL, eine Such-URL und die Sitemap. Kontrolliere nach dem Speichern außerdem die Live-Antwort von /robots.txt.

Offizielle Plattformquelle: Blogger-Hilfe — Blog-Einstellungen verwalten. Im Abschnitt zu Crawlern und Indexierung findest du Informationen zu benutzerdefinierter robots.txt und benutzerdefinierten robots-Header-Tags.

Benutzerdefinierte robots.txt und robots-Header-Tags sind getrennte Kontrollen

Blogger bietet getrennte Einstellungen für benutzerdefinierte robots.txt und robots-Header-Tags. Eine Disallow-Regel in robots.txt steuert Crawling-Zugriff auf passende Pfade; eine Indexierungsdirektive ist ein anderer Mechanismus.

Verwende eine Crawling-Sperre nicht als Ersatz für eine Indexierungsentscheidung. Wenn eine Seite crawlbar sein muss, damit eine Suchmaschine eine Indexierungsdirektive sieht, kann das Blockieren derselben URL in robots.txt dem Ziel entgegenwirken.

robots.txt und noindex vergleichen →

Blogger-URLs vor der Veröffentlichung testen

Startseite

/

Sollte normalerweise crawlbar bleiben

Aktueller Beitrag

/YYYY/MM/post-slug.html

Prüfen, dass ein normaler Beitrag nicht von einer breiten Regel erfasst wird

Statische Seite

/p/page-slug.html

Prüfen, dass statische Seiten bei Bedarf erreichbar bleiben

Label-Ergebnisse

/search/label/example

Prüfen, ob deine Such-/Label-Richtlinie greift

Suchergebnisse

/search?q=example

Prüfen, ob das Crawling von Suchergebnissen zu deiner Richtlinie passt

Sitemap

/sitemap.xml

Prüfen, ob die echte Sitemap-URL lädt und nicht blockiert ist

Blogger-URLs testenDatei validierenLive-robots.txt prüfen

Häufige Fragen zu Blogger robots.txt

Muss ich in Blogger eine benutzerdefinierte robots.txt aktivieren?

In der Regel nicht. Blogger liefert bereits Standardverhalten. Aktiviere eine eigene Datei nur, wenn du eine konkrete Crawling-Richtlinie anwenden möchtest und die Ersatzregeln testen kannst.

Ersetzt die benutzerdefinierte robots.txt den Blogger-Standard?

Ja. Die Blogger-Dokumentation beschreibt den eigenen Text als Ersatz für den Standardinhalt. Eine ungeprüfte Vorlage kann daher Crawling-Probleme verursachen.

Sollte ich /search in Blogger blockieren?

Es kann sinnvoll sein, interne Suche und Label-Ergebnisse aus Crawling-Warteschlangen herauszuhalten. Prüfe jedoch die URLs deines eigenen Blogs und teste normale Beiträge und Seiten vor einer breiten Regel.

Kann robots.txt verhindern, dass eine Blogger-URL indexiert wird?

robots.txt steuert vor allem Crawling. Indexierungssteuerungen sind getrennt, und eine Blockierung kann verhindern, dass der Crawler eine seitenbezogene Indexierungsdirektive sieht.