Primärquellen zuerst
Protokollverhalten wird mit RFC 9309 abgeglichen. Suchmaschinen-spezifisches Verhalten wird mit der offiziellen Dokumentation des jeweiligen Anbieters geprüft. Crawler-Vorlagen für OpenAI, Anthropic, Perplexity und Google werden nicht aus Listen fremder SEO-Tools abgeleitet, wenn eine Primärquelle verfügbar ist.
Protokollregeln und Anbieter-Verhalten bleiben getrennt
Das Robots Exclusion Protocol definiert allgemeines Parsing und Matching, während Anbieter zusätzliches Crawler-Verhalten oder nicht unterstützte Direktiven dokumentieren können. Der Validator behandelt daher nicht jede Kompatibilitätswarnung als RFC-Syntaxfehler.
Beispiele sind Ausgangspunkte, keine universellen Vorgaben
WordPress-, Blogger-, Staging- und andere Vorlagen sind editierbare Beispiele. Ein Pfad, der auf einer Website sicher blockiert werden kann, kann auf einer anderen wichtig sein. Deshalb enthalten Vorlagen Prüfhinweise und werden nicht als universell „beste“ Konfiguration beschrieben.
Wesentliche Crawler-Änderungen werden neu geprüft
KI-Suche und Crawler-Richtlinien können sich ändern. Ändert ein Anbieter Name, Zweck, robots.txt-Verhalten oder Dokumentation eines Crawlers, müssen betroffene Vorlage und Erklärung anhand der neuen Primärquelle geprüft werden.
Korrekturen
Reproduzierbare Parser-Fehler, veraltete Crawler-Beschreibungen und Quellenkorrekturen werden als Produktfehler behandelt und in gemeinsamer Regel-Logik oder Quellenmetadaten behoben, statt nur den Text einer einzelnen Seite anzupassen.