Squarespace verwaltet große Teile von robots.txt. Wir arbeiten deshalb mit den unterstützten Plattform-Einstellungen statt mit einem angenommenen Raw-File-Workflow.
Wir erkennen erwartete /search-Regeln
Ein Disallow für /search kann normale Plattformlogik sein. Wir prüfen zuerst, ob eine Zeile erwartet ist.
Crawlers steuert breite Sichtbarkeit
Für Site-weite Entscheidungen verwenden wir Crawlers und kontrollieren anschließend die veröffentlichte Antwort.
noindex ist für einzelne Seiten genauer
Eine öffentliche Einzel-URL steuern wir über die passende noindex/Indexierungsoption; private Inhalte über Passwort oder Zugriffsschutz.
Die Sitemap wird automatisch erzeugt
Wir öffnen die Sitemap und prüfen kanonische URLs, statt sie wie eine manuell gepflegte XML-Datei zu behandeln.
Wir kontrollieren Production
Wir prüfen /robots.txt, /sitemap.xml, den Checker und den Tester.
Search-Crawler und KI-Crawler sind getrennte Kontrollen
Squarespace bietet heute separate Einstellungen für Suchmaschinen-Crawler und bekannte KI-Crawler. Für eine einzelne öffentliche Seite bleibt noindex die präzisere Option; für die gesamte Site nutzen wir Crawlers; private Inhalte schützen wir mit Passwort oder Zugriffskontrolle. Das KI-Blocking ist eine Plattform-Anfrage und keine Garantie gegen jeden heutigen oder zukünftigen Bot.
Plattform-Ausschlüsse sind nicht automatisch Fehler
Pfade wie /search und bestimmte Parameter können bewusst von Squarespace ausgeschlossen werden. Bevor wir einen Report „beheben“, vergleichen wir ihn mit der aktuellen Plattform-Dokumentation. Da die Datei generiert wird, suchen wir unerwartete Regeln in Crawlers-, Seiten-, Collection- oder anderen unterstützten Einstellungen statt nach einer Datei zum Upload.
