Nachvollziehbarer Regeltest

Robots.txt Tester

Füge eine robots.txt-Datei ein, wähle einen Crawler und teste eine URL. Das Ergebnis zeigt die passende User-agent-Gruppe und die spezifischste Allow- oder Disallow-Regel.

robots.txt-Regeln

Füge Regeln ein, lade eine öffentliche Datei oder übergib Regeln direkt aus dem Generator.

Keine Syntaxfehler erkanntInterpretierbare Regeln werden auch dann ausgewertet, wenn nur Warnungen vorhanden sind.
Testmodus

Testergebnis

Die Entscheidungen verwenden dieselbe Matching-Engine wie Checker und Generator-Diagnosen.

Crawler: Googlebot

Blockiert

https://example.com/admin/login

Die Disallow-Regel in Zeile 2 ist die spezifischste passende Regel.

Entscheidungsweg

Crawler-Gruppe
* (Wildcard-Fallback)
Entscheidende Regel
Disallow: /admin/
Quellzeile
2
Regelspezifität
7 normalisierte Byte

Crawler-Vergleich

Vergleiche die erste getestete URL für Such-, KI-Such- und KI-Steuerungs-Tokens: https://example.com/admin/login

Googlebot

Suche

Blockiert

Disallow: /admin/

Bingbot

Suche

Blockiert

Disallow: /admin/

OAI-SearchBot

KI-Suche

Blockiert

Disallow: /admin/

GPTBot

KI-Steuerung / Training

Blockiert

Disallow: /admin/

Claude-SearchBot

KI-Suche

Blockiert

Disallow: /admin/

ClaudeBot

KI-Steuerung / Training

Blockiert

Disallow: /admin/

PerplexityBot

KI-Suche

Blockiert

Disallow: /admin/

Google-Extended

KI-Steuerung / Training

Blockiert

Disallow: /admin/

Warum die entscheidende Regel wichtig ist

robots.txt-Matching funktioniert nicht nach dem Prinzip „erste Regel gewinnt“. Ein Crawler wählt zunächst die passende User-agent-Gruppe und bewertet dann übereinstimmende Allow- und Disallow-Muster. Der Tester zeigt die tatsächlich verwendete Regel statt nur Ja oder Nein auszugeben.

Gesamte Datei validieren →

Entscheidungsweg

Die Entscheidungen verwenden dieselbe Matching-Engine wie Checker und Generator-Diagnosen.

Crawler-Vergleich

Interpretierbare Regeln werden auch dann ausgewertet, wenn nur Warnungen vorhanden sind.

Mehrere URLs

Bis zu 100 eindeutige, nicht leere Zeilen pro Durchlauf.

Technische Quellen

Regeln und Crawler-spezifische Hinweise werden anhand primärer Standards und Anbieterdokumentation geprüft, nicht von anderen SEO-Tools übernommen.

Zuletzt geprüft am 2026-09-10