Robots.txt Ratgeber

Crawl-delay in robots.txt: Unterstützt Googlebot die Direktive?

Was Crawl-delay bedeutet, warum Googlebot die Direktive nicht unterstützt und wie zu hohe Crawler-Last sinnvoll diagnostiziert wird.

Von Robots.txt Tools Editorial TeamZuletzt geprüft am 2026-09-132 Min. Lesezeit
Crawl-delay in robots.txt: Unterstützt Googlebot die Direktive?

Crawl-delay wird häufig aus alten robots.txt-Beispielen übernommen. Für Google gilt jedoch eindeutig: Googlebot unterstützt Crawl-delay in robots.txt nicht. Eine Sekundenangabe zwingt Googlebot daher nicht zu festen Pausen zwischen Requests.

Andere Crawler können die Direktive als eigene Erweiterung unterstützen. Prüfe deshalb die Dokumentation des konkreten Bot-Betreibers statt von universellem Verhalten auszugehen.

Typisches Beispiel

User-agent: ExampleBot
Crawl-delay: 10

Gemeint ist meist ein Abstand von ungefähr zehn Sekunden. RFC 9309 standardisiert jedoch vor allem User-agent-Gruppen und Allow/Disallow-Matching; historische Zusatzfelder sind nicht automatisch überall unterstützt.

Warum Crawl-delay falsche Sicherheit erzeugen kann

Wird die Direktive während eines Lastproblems ergänzt und vom Bot ignoriert, ändert sich nichts. Die eigentliche Ursache kann sein:

  • facettierte Navigation erzeugt sehr viele URLs;
  • Kalender, Suche oder Parameter bilden endlose URL-Räume;
  • 5xx führt zu Wiederholungen;
  • ein Bot hält sich nicht an robots.txt;
  • ein anderer User-agent verursacht die Last;
  • langsame Anwendung macht normales Crawl-Volumen teuer.

Beginne mit Logs: User-agent, Request-Rate, Pfade und Statuscodes.

401/403 nicht als Google-Crawl-Regler verwenden

Antwortet /robots.txt mit 401 oder 403, behandelt Google die meisten 4xx außer 429 so, als gäbe es keine gültige robots.txt. Damit können genau die Einschränkungen verloren gehen, die du vermitteln wolltest.

HTTP/1.1 403 Forbidden

ist also keine verlässliche Methode, Googlebot zu verlangsamen.

429 und 5xx sind andere Signale

429 Too Many Requests und Serverfehler signalisieren Überlastung oder Nichtverfügbarkeit und können Crawling reduzieren. Sie sind aber kein sauberer Ersatz für URL- und Kapazitätsmanagement.

Behebe zuerst URL-Explosionen, sperre nur wirklich unnötige Pfade, verbessere Cache/Server und nutze anbieterspezifische Kontrollmöglichkeiten, wenn vorhanden.

Bei unnötigen Pfaden: Disallow gezielt einsetzen

User-agent: *
Disallow: /interne-suche/
Disallow: /cart/
Disallow: /session/

Sitemap: https://example.com/sitemap.xml

Das reduziert Requests auf diese Pfade, statt alle Requests zeitlich zu strecken. Disallow ersetzt aber kein noindex.

Große Sites brauchen Crawl-Effizienz

Bei Shops, Marktplätzen und Publishern ist entscheidend, ob wichtige kanonische Seiten erreichbar sind, ohne dass Crawler ihre Zeit auf Parameter-, Filter-, Session- oder Preview-URLs verteilen.

Sichere Diagnose

  • exakten Crawler in Logs identifizieren;
  • Support für Crawl-delay beim Betreiber prüfen;
  • Request-Volumen und Top-Pfade messen;
  • URL-Explosionen untersuchen;
  • Status, Größe und Encoding von /robots.txt prüfen;
  • wichtige Seiten/Assets auf versehentliche Sperren testen;
  • 429 und 5xx analysieren;
  • Änderungen an realen URLs testen;
  • nach Deployment Logs überwachen.

Für Googlebot gilt: nicht auf Crawl-delay verlassen, sondern unterstützte Regeln, saubere URL-Architektur und stabile Server verwenden.

Passende Anleitungen