Squarespace verwaltet große Teile von robots.txt. Wir arbeiten deshalb mit den unterstützten Plattform-Einstellungen statt mit einem angenommenen Raw-File-Workflow.
Wir erkennen erwartete /search-Regeln
Ein Disallow für /search kann normale Plattformlogik sein. Wir prüfen zuerst, ob eine Zeile erwartet ist.
Crawlers steuert breite Sichtbarkeit
Für Site-weite Entscheidungen verwenden wir Crawlers und kontrollieren anschließend die veröffentlichte Antwort.
noindex ist für einzelne Seiten genauer
Eine öffentliche Einzel-URL steuern wir über die passende noindex/Indexierungsoption; private Inhalte über Passwort oder Zugriffsschutz.
Die Sitemap wird automatisch erzeugt
Wir öffnen die Sitemap und prüfen kanonische URLs, statt sie wie eine manuell gepflegte XML-Datei zu behandeln.
Wir kontrollieren Production
Wir prüfen /robots.txt, /sitemap.xml, den Checker und den Tester.
