Robots.txt Ratgeber

Robots.txt für KI-Crawler: Suche, Training und Bot-Zugriff trennen

KI-Crawler mit robots.txt steuern, ohne Suche, Training und noindex zu vermischen. Mit Beispielen für OAI-SearchBot und GPTBot.

Von Robots.txt Tools Editorial TeamZuletzt geprüft am 2026-10-014 Min. Lesezeit
Robots.txt für KI-Crawler: Suche, Training und Bot-Zugriff trennen

Bei KI-Crawlern sollten drei Fragen getrennt beantwortet werden: Darf der Bot eine URL crawlen, soll die Seite in einer Such- oder Antwortoberfläche auffindbar sein und darf der Inhalt für einen anbieterspezifischen Trainingszweck erfasst werden? Eine pauschale Sperre aller KI-bezogenen User-agents vermischt diese Ziele.

OpenAI unterscheidet aktuell zwischen OAI-SearchBot und GPTBot. Wer Inhalte für ChatGPT Search auffindbar und in Zusammenfassungen oder Snippets verfügbar halten möchte, sollte OAI-SearchBot nicht blockieren. GPTBot kann separat gesperrt werden, wenn Seiten vom potenziellen Trainingsumfang ausgeschlossen werden sollen.

Aktuelle Crawler-Taxonomie — geprüft am 1. Oktober 2026

Die Namen sind wichtig, weil nicht jeder KI-bezogene Abruf denselben Zweck oder dieselbe robots.txt-Wirkung hat.

  • OpenAI: OAI-SearchBot ist der automatische Crawler für Sichtbarkeit in ChatGPT Search; GPTBot dient Modellentwicklung/Training. ChatGPT-User wird bei bestimmten nutzerinitiierten Seitenabrufen eingesetzt; OpenAI weist darauf hin, dass robots.txt dabei möglicherweise nicht gilt. OAI-AdsBot besucht nur als ChatGPT-Anzeigen eingereichte Landingpages; die dabei erfassten Daten werden laut OpenAI nicht zum Training generativer Foundation-Modelle verwendet.
  • Anthropic: ClaudeBot betrifft potenzielle Trainingsdatenerfassung, Claude-SearchBot Suchqualität und Claude-User nutzerinitiierte Abrufe. Anthropic sagt, dass seine Bots robots.txt beachten, und dokumentiert Unterstützung für die nicht standardisierte Erweiterung Crawl-delay.
  • Google: Google-Extended steuert Gemini-Training und Grounding, ohne Aufnahme oder Ranking in Google Search zu beeinflussen. Google-CloudVertexBot ist getrennt und betrifft von Website-Inhabern angeforderte Crawls zum Aufbau von Vertex AI Agents.
  • Perplexity: Die aktuelle robots.txt-Hilfe nennt PerplexityBot als Suchindex-Crawler. Bei einer Sperre wird laut Perplexity kein vollständiger oder teilweiser Seitentext indexiert; Domain, Überschrift und eine kurze sachliche Zusammenfassung können dennoch erhalten bleiben.

Klassifiziere einen Token vor dem Blockieren als automatische Suche, Modell-/Trainingssteuerung, nutzer- oder agenteninitiierten Abruf oder spezialisierten Service-Abruf.

Erst das gewünschte Ergebnis festlegen

Zielrobots.txtZusätzliche Kontrolle
Klassische Suche und KI-Suche zulassenRelevanten Such-Crawler nicht blockierenSeite indexierbar lassen, wenn sie erscheinen soll
KI-Suche erlauben, Trainings-Crawler sperrenUser-agent-Gruppen trennenAktuelle Anbieter-Dokumentation prüfen
Öffentliche Seite aus Suchergebnissen haltenNicht nur robots.txt verwendenCrawling erlauben und noindex ausliefern
Private Inhalte schützenrobots.txt nicht als Sicherheit verwendenAuthentifizierung/Autorisierung

robots.txt ist eine Anweisung an kompatible Crawler, keine Zugriffskontrolle.

Beispiel: ChatGPT Search erlauben, GPTBot blockieren

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Entscheidend ist die Trennung der Zwecke. Crawler-Namen und Richtlinien können sich ändern, daher sollte vor jeder Veröffentlichung die Primärquelle geprüft werden.

Disallow ist nicht noindex

Disallow regelt Crawling. noindex regelt Indexierung bei Systemen, die diese Direktive unterstützen. Wird eine Seite in robots.txt blockiert, kann der Crawler ihre Meta-Robots-Direktive möglicherweise nicht lesen.

User-agent: OAI-SearchBot
Disallow: /preview/

zusammen mit:

<meta name="robots" content="noindex">

kann deshalb für eine öffentliche Seite widersprüchlich sein. Wenn die Seite nur nicht in Ergebnissen erscheinen soll, ist Crawling plus noindex meist klarer. Vertrauliche Inhalte brauchen echte Authentifizierung.

Keine riesigen Bot-Listen ungeprüft übernehmen

Lange Listen altern schnell und mischen Suche, Training und nutzerinitiierte Abrufe. Eine kleine, begründete Regelmenge ist leichter zu warten.

# Auffindbarkeit in ChatGPT Search
User-agent: OAI-SearchBot
Allow: /

# Separate Trainingspräferenz
User-agent: GPTBot
Disallow: /

KI-Regeln mit normaler Crawl-Policy kombinieren

Auch bei erlaubter KI-Suche können Konto-, Warenkorb- oder interne Suchpfade gesperrt bleiben.

User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /cart/
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow: /account/
Disallow: /cart/
Allow: /

Teste reale URLs. Bei überlappenden Regeln ist die spezifischere Übereinstimmung wichtiger als die optische Reihenfolge.

Vor dem Veröffentlichen prüfen

  • /robots.txt wird am Root des richtigen Hosts ausgeliefert;
  • wichtige Seiten bleiben für Googlebot/Bingbot erreichbar;
  • KI-User-agents stammen aus aktueller Anbieter-Dokumentation;
  • Suche und Training werden getrennt behandelt, wenn der Anbieter getrennte Crawler dokumentiert;
  • Seiten mit noindex sind für den lesenden Crawler erreichbar;
  • private Daten sind durch Zugriffskontrollen geschützt;
  • die Sitemap enthält kanonische öffentliche URLs;
  • Regeln wurden mit repräsentativen URLs getestet.

robots.txt kann gecacht werden. Nach Änderungen sollten Live-Datei, HTTP-Status, Logs und Referral-Traffic kontrolliert werden. Die wartbarste Strategie lautet: Crawler-Zweck definieren, kleinstmögliche Regelmenge schreiben und Anbieter-Dokumentation regelmäßig neu prüfen.

Passende Anleitungen