Bei Staging ist Zugriff die erste Ebene, nicht robots.txt.
Wir verwenden Authentifizierung für private Inhalte
Passwort, Authentifizierung oder Netzwerkregeln schützen die Umgebung. Disallow: / ist keine Sicherheit.
Öffentliche Previews können noindex brauchen
Muss eine URL für Reviews erreichbar bleiben, aber aus der Suche verschwinden, setzen wir noindex und lassen den Crawler die Direktive lesen.
Robots.txt bleibt sekundär
User-agent: *
Disallow: /
Das kann Crawling reduzieren, ersetzt aber weder Zugriffsschutz noch noindex.
Wir trennen Staging und Production
Wir prüfen beide Hosts, entfernen Staging-Sitemaps und verhindern, dass Disallow: / in Production gelangt.
Unser Release-Gate
Production-URLs testen wir mit dem Tester und die Live-Datei mit dem Checker. Zugriff → Authentifizierung; Indexierung → noindex; Crawl → robots.txt.
Die Exposition bestimmt die richtige Kontrolle
Internes Staging oder Kundenreview schützen wir mit Authentifizierung oder Netzwerkregeln. Muss eine öffentliche Preview erreichbar bleiben, aber aus Suchergebnissen heraus, kann noindex bei weiter möglichem Crawl passen. robots.txt bleibt eine sekundäre Crawling-Schicht, nicht die Sicherheitsgrenze.
Das größte Release-Risiko ist ein Disallow: / aus Staging, das in Produktion landet. Deshalb ist die Produktionspolicy explizit und Teil des Release-Gates.
Alte Previews werden aktiv stillgelegt
Nach dem Launch entfernen wir ungenutzte Preview-Hosts oder lassen deren Authentifizierung bestehen. Ist eine Staging-URL bereits indexiert, ist ein nachträgliches Disallow: / kein sauberer Removal-Prozess. Wir entscheiden, ob Zugriffsschutz, ein passender HTTP-Status oder eine weiterhin crawlbare noindex-Phase sinnvoll ist.
Release-Prüfung gegen Policy-Leaks
Vor dem Produktionsrelease kontrollieren wir zusätzlich interne Links, Sitemap, Canonical und Umgebungsvariablen auf Staging-Hosts. Nach dem Deploy prüfen wir einige öffentliche Seiten direkt und vergleichen deren Indexierungsdirektiven mit der produktiven robots.txt. So erkennen wir nicht nur ein versehentliches Disallow: /, sondern auch versteckte Verweise auf die falsche Umgebung.
