Live-Website-Prüfung

Robots.txt Checker

Gib eine Website-URL ein, um die robots.txt im Stamm live abzurufen und HTTP-Antwort, Dateigröße sowie Validierungswarnungen zu prüfen.

Ruft /robots.txt im Website-Stamm ab, folgt sicher bis zu fünf Weiterleitungen, blockiert private/lokale Ziele und liest nicht über 500 KiB hinaus.

Gib eine öffentliche Website ein, um zu prüfen, ob robots.txt existiert, ob Such-Crawler auf den Stamm zugreifen können und was Aufmerksamkeit benötigt.

Checker oder Validator?

Der Checker ruft die veröffentlichte /robots.txt einer Website ab. Der Validator führt keine Netzwerkanfrage aus, sondern analysiert direkt eingefügten Text.

Du möchtest eine konkrete URL testen?

Nutze den Tester, wenn du wissen möchtest, ob eine bestimmte URL für einen bestimmten Crawler erlaubt oder blockiert ist.

Robots.txt Tester öffnen →

Schnellergebnis

Starte hier. Öffne Technische Details nur, wenn du HTTP-, Weiterleitungs-, Crawler-Gruppen- oder Validierungsinformationen benötigst.

Suchzugriff auf den Stamm

Der Stammzugriff prüft nur /. Nutze den Tester, um wichtige URLs und Pfade einzeln oder gesammelt zu testen.

Was sollte ich beheben?

Priorisiert anhand von Crawler-Zugriff und Validierungsdiagnosen.

Technische Quellen

Regeln und Crawler-spezifische Hinweise werden anhand primärer Standards und Anbieterdokumentation geprüft, nicht von anderen SEO-Tools übernommen.

Zuletzt geprüft am 2026-09-10