Bei Staging ist Zugriff die erste Ebene, nicht robots.txt.
Wir verwenden Authentifizierung für private Inhalte
Passwort, Authentifizierung oder Netzwerkregeln schützen die Umgebung. Disallow: / ist keine Sicherheit.
Öffentliche Previews können noindex brauchen
Muss eine URL für Reviews erreichbar bleiben, aber aus der Suche verschwinden, setzen wir noindex und lassen den Crawler die Direktive lesen.
Robots.txt bleibt sekundär
User-agent: *
Disallow: /
Das kann Crawling reduzieren, ersetzt aber weder Zugriffsschutz noch noindex.
Wir trennen Staging und Production
Wir prüfen beide Hosts, entfernen Staging-Sitemaps und verhindern, dass Disallow: / in Production gelangt.
Unser Release-Gate
Production-URLs testen wir mit dem Tester und die Live-Datei mit dem Checker. Zugriff → Authentifizierung; Indexierung → noindex; Crawl → robots.txt.
