Shopify erzeugt für jeden Shop automatisch eine robots.txt. Laut aktueller Shopify-Dokumentation ist die Standarddatei für die meisten Shops SEO-tauglich. Deshalb gilt: zuerst die generierte Policy verstehen und nur bei einem konkreten Bedarf anpassen.
Für fortgeschrittene Änderungen steht robots.txt.liquid zur Verfügung. Shopify warnt ausdrücklich davor, dass fehlerhafte Anpassungen erheblichen Traffic-Verlust verursachen können.
Wo liegt Shopify robots.txt?
Im Root der primären Domain:
https://example.com/robots.txt
Vor Änderungen sollte die Live-Datei gespeichert werden. Kopiere keine robots.txt aus einem fremden Shop: Apps, Markets, Theme und Plattformregeln können abweichen.
Wann robots.txt.liquid sinnvoll ist
Eine Anpassung ist begründet, wenn ein konkretes Crawl-Ziel existiert, zum Beispiel:
- eine App erzeugt unnötige URL-Räume;
- ein bestimmter Pfad soll wieder crawlbar werden;
- eine zusätzliche Sitemap soll angegeben werden;
- ein dokumentierter Crawler braucht eine eigene Regel;
- KI-Crawler im offenen Web sollen gezielt gesteuert werden.
Eine längere Datei ist nicht automatisch besser.
Shopify-Standards möglichst erhalten
Mit Liquid lassen sich Regeln ergänzen oder entfernen, ohne die gesamte generierte Basis durch statischen Text zu ersetzen. Eine Vollersetzung kann zukünftige Plattformänderungen abschneiden.
Ändere nur das Nötigste und dokumentiere den Grund jeder Abweichung.
Crawling und Indexierung sind getrennt
Shopify erläutert selbst, dass URLs über andere Signale entdeckt und indexiert werden können, obwohl robots.txt den Crawl blockiert. Deshalb kann Search Console „indexiert, obwohl durch robots.txt blockiert“ melden.
Soll eine öffentliche Seite aus Suchergebnissen verschwinden, ist Disallow kein Ersatz für noindex. Private Inhalte benötigen Authentifizierung.
Sitemap
Shopify stellt Sitemap-Infrastruktur automatisch bereit. Eine zusätzliche robots.txt-Zeile muss eine absolute URL verwenden:
Sitemap: https://example.com/sitemap.xml
Doppelte Deklarationen bringen keinen zusätzlichen SEO-Wert. Entscheidend sind kanonische, indexierbare URLs im Sitemap-Inhalt.
KI-Crawler und Shopify Catalog
Shopify trennt aktuell den Open-Web-Zugriff von KI-Crawlern von der Verteilung von Produktdaten über Shopify Catalog an aktivierte agentische Storefronts.
Bestimmte User-agents können über robots.txt.liquid erlaubt oder blockiert werden. Eine Sperre in /robots.txt stoppt aber nicht automatisch die Datenverteilung über einen Shopify-Kanal, den du ausdrücklich aktiviert hast.
Unterscheide deshalb:
- direktes Crawling öffentlicher Shop-Seiten;
- Auffindbarkeit in Suche oder KI-Suche;
- anbieterspezifische Crawler;
- Katalogverteilung über Shopify-Kanäle.
Filter, Collections und Suche vorsichtig behandeln
Erstelle vor breiten Änderungen Beispiele für kanonische Collections, Filter-URLs, interne Suche, Produkt-Parameter, Market-/Locale-URLs und App-Routen. Ein zu breites Allow kann einen sehr großen Crawl-Raum öffnen.
Sicherer Ablauf
- Aktuelle Live-Datei sichern.
- Ziel der Änderung in einem Satz formulieren.
- Erlaubte und blockierte Beispiel-URLs festlegen.
- Kleinstmögliche Liquid-Anpassung machen.
- Generiertes Ergebnis validieren.
- URLs und User-agents testen.
- Nach Deployment
/robots.txtneu abrufen. - Search Console und Logs beobachten.
- Anpassung bei Shopify-Änderungen erneut prüfen.
Für die meisten Shops reicht die Standarddatei. Wenn eine Änderung nötig ist, Shopify-Defaults möglichst bewahren, Override klein halten und das Live-Ergebnis testen.
