robots.txt und noindex lösen unterschiedliche Aufgaben. Die wichtigste Unterscheidung: robots.txt bestimmt, ob ein Crawler eine URL abrufen darf; noindex teilt einem unterstützenden Suchsystem mit, dass die Seite nicht im Index bleiben soll.
Google weist ausdrücklich darauf hin, dass robots.txt nicht dazu gedacht ist, normale Webseiten sicher aus Google Search fernzuhalten. Eine blockierte URL kann über Links, Sitemaps, Weiterleitungen oder historische Daten entdeckt werden und als URL-Ergebnis erscheinen, obwohl der aktuelle Inhalt nicht gecrawlt wurde.
Die Kontrollen im Vergleich
| Kontrolle | Zweck | Ort | Muss die Seite geladen werden? |
|---|---|---|---|
Disallow | Crawling begrenzen | /robots.txt | Nein |
Meta-Robots noindex | HTML aus dem Index halten | <head> | Ja |
X-Robots-Tag: noindex | Indexierung auch für Nicht-HTML steuern | HTTP-Header | Ja |
| Authentifizierung | Zugriff schützen | Server/App | Kein öffentlicher Zugriff |
Ein Crawler kann ein noindex auf der Seite nicht lesen, wenn robots.txt den Abruf verhindert.
Häufige Fehlkonfiguration
User-agent: *
Disallow: /members-preview/
plus:
<meta name="robots" content="noindex">
Die Absicht ist verständlich, aber Googlebot kann die Meta-Direktive nicht lesen. Wird die URL anderweitig entdeckt, kann sie trotzdem auftauchen.
Für eine öffentliche Seite, die nur nicht indexiert werden soll, ist es meist klarer, Crawling zuzulassen und noindex auszuliefern.
Wann robots.txt sinnvoll ist
robots.txt eignet sich für Crawl-Steuerung: interne Suche, Warenkorb, Sitzungs-URLs, manche Facetten oder andere Pfade, die Crawl-Ressourcen verbrauchen.
User-agent: *
Disallow: /interne-suche/
Disallow: /cart/
Allow: /
Sitemap: https://example.com/sitemap.xml
Breite Regeln sollten mit wichtigen URLs getestet werden.
Wann noindex sinnvoll ist
Wenn eine URL öffentlich abrufbar sein darf, aber nicht in Suchergebnissen erscheinen soll:
<meta name="robots" content="noindex">
Für PDFs oder andere Ressourcen:
X-Robots-Tag: noindex
In beiden Fällen muss der Crawler die Antwort abrufen können.
„Indexiert, obwohl durch robots.txt blockiert“
Das ist kein Widerspruch. Crawling und Indexierung sind getrennte Systeme. Eine Suchmaschine kann die Existenz einer URL kennen, ohne ihren aktuellen Inhalt laden zu dürfen.
Soll die URL wirklich aus den Ergebnissen verschwinden, kläre zunächst, ob sie öffentlich sein darf. Ist sie öffentlich, entferne die Crawl-Sperre und liefere noindex; ist sie privat, verwende Authentifizierung.
Kein Noindex in robots.txt
Alte Beispiele zeigen teilweise:
Noindex: /beispiel/
Google unterstützt noindex nicht als robots.txt-Direktive. Nutze Meta-Robots oder X-Robots-Tag.
Dasselbe Prinzip gilt für KI-Suche
Auch OpenAI trennt das Blockieren von OAI-SearchBot von noindex. Ist eine URL aus anderen Quellen bekannt, kann ein Link oder Titel sichtbar werden. Wenn sie nicht erscheinen soll, muss die Indexierungsdirektive vom Crawler gelesen werden können.
Entscheidungsfolge
- Privat oder sensibel? Authentifizierung.
- Öffentlich, aber nicht in Suchergebnissen? Crawling erlauben +
noindex. - Indexierbar, aber unnötiger Crawl-Aufwand? robots.txt prüfen.
- Nur ein Crawler soll anders behandelt werden? Eigene User-agent-Gruppe.
- Duplikate? Erst Canonical, Redirects und URL-Architektur prüfen.
robots.txt kontrolliert Crawling, noindex kontrolliert Indexierung und Authentifizierung kontrolliert Zugriff. Diese Trennung macht SEO-Verhalten deutlich vorhersehbarer.
