Bei KI-Crawlern sollten drei Fragen getrennt beantwortet werden: Darf der Bot eine URL crawlen, soll die Seite in einer Such- oder Antwortoberfläche auffindbar sein und darf der Inhalt für einen anbieterspezifischen Trainingszweck erfasst werden? Eine pauschale Sperre aller KI-bezogenen User-agents vermischt diese Ziele.
OpenAI unterscheidet aktuell zwischen OAI-SearchBot und GPTBot. Wer Inhalte für ChatGPT Search auffindbar und in Zusammenfassungen oder Snippets verfügbar halten möchte, sollte OAI-SearchBot nicht blockieren. GPTBot kann separat gesperrt werden, wenn Seiten vom potenziellen Trainingsumfang ausgeschlossen werden sollen.
Erst das gewünschte Ergebnis festlegen
| Ziel | robots.txt | Zusätzliche Kontrolle |
|---|---|---|
| Klassische Suche und KI-Suche zulassen | Relevanten Such-Crawler nicht blockieren | Seite indexierbar lassen, wenn sie erscheinen soll |
| KI-Suche erlauben, Trainings-Crawler sperren | User-agent-Gruppen trennen | Aktuelle Anbieter-Dokumentation prüfen |
| Öffentliche Seite aus Suchergebnissen halten | Nicht nur robots.txt verwenden | Crawling erlauben und noindex ausliefern |
| Private Inhalte schützen | robots.txt nicht als Sicherheit verwenden | Authentifizierung/Autorisierung |
robots.txt ist eine Anweisung an kompatible Crawler, keine Zugriffskontrolle.
Beispiel: ChatGPT Search erlauben, GPTBot blockieren
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
Entscheidend ist die Trennung der Zwecke. Crawler-Namen und Richtlinien können sich ändern, daher sollte vor jeder Veröffentlichung die Primärquelle geprüft werden.
Disallow ist nicht noindex
Disallow regelt Crawling. noindex regelt Indexierung bei Systemen, die diese Direktive unterstützen. Wird eine Seite in robots.txt blockiert, kann der Crawler ihre Meta-Robots-Direktive möglicherweise nicht lesen.
User-agent: OAI-SearchBot
Disallow: /preview/
zusammen mit:
<meta name="robots" content="noindex">
kann deshalb für eine öffentliche Seite widersprüchlich sein. Wenn die Seite nur nicht in Ergebnissen erscheinen soll, ist Crawling plus noindex meist klarer. Vertrauliche Inhalte brauchen echte Authentifizierung.
Keine riesigen Bot-Listen ungeprüft übernehmen
Lange Listen altern schnell und mischen Suche, Training und nutzerinitiierte Abrufe. Eine kleine, begründete Regelmenge ist leichter zu warten.
# Auffindbarkeit in ChatGPT Search
User-agent: OAI-SearchBot
Allow: /
# Separate Trainingspräferenz
User-agent: GPTBot
Disallow: /
KI-Regeln mit normaler Crawl-Policy kombinieren
Auch bei erlaubter KI-Suche können Konto-, Warenkorb- oder interne Suchpfade gesperrt bleiben.
User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /cart/
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /account/
Disallow: /cart/
Allow: /
Teste reale URLs. Bei überlappenden Regeln ist die spezifischere Übereinstimmung wichtiger als die optische Reihenfolge.
Vor dem Veröffentlichen prüfen
/robots.txtwird am Root des richtigen Hosts ausgeliefert;- wichtige Seiten bleiben für Googlebot/Bingbot erreichbar;
- KI-User-agents stammen aus aktueller Anbieter-Dokumentation;
- Suche und Training werden getrennt behandelt, wenn der Anbieter getrennte Crawler dokumentiert;
- Seiten mit
noindexsind für den lesenden Crawler erreichbar; - private Daten sind durch Zugriffskontrollen geschützt;
- die Sitemap enthält kanonische öffentliche URLs;
- Regeln wurden mit repräsentativen URLs getestet.
robots.txt kann gecacht werden. Nach Änderungen sollten Live-Datei, HTTP-Status, Logs und Referral-Traffic kontrolliert werden. Die wartbarste Strategie lautet: Crawler-Zweck definieren, kleinstmögliche Regelmenge schreiben und Anbieter-Dokumentation regelmäßig neu prüfen.
