Bei Magento/Adobe Commerce klären wir zuerst, welche Schicht den öffentlichen Storefront-Host ausliefert.
Wir starten bei Content → Design → Configuration
Im passenden Store View prüfen wir Search Engine Robots und danach die reale /robots.txt-Antwort.
Default Robots ist nicht dasselbe
Default Robots steuert Seiten-Indexierungsdirektiven; die Crawl-Regeln der robots.txt liegen auf einer anderen Ebene.
Ecommerce braucht reale URL-Tests
Suche, Warenkorb, Konto und Facetten unterscheiden sich je Shop. Wir übernehmen keine pauschalen Blocklisten und nutzen bei Filtern den Parameter-Ratgeber.
Cloud verändert den Deployment-Kontext
In Adobe Commerce Cloud prüfen wir Umgebungstrennung, Sitemap und Indexierungssteuerung für Staging versus Production.
PWA/headless kann Ownership verschieben
Wenn PWA, headless Frontend oder CDN den öffentlichen Host bedient, kann diese Schicht /robots.txt besitzen. Wir kontrollieren Cloud/PWA/headless und die Live-Datei mit dem Checker.
Adobe Commerce Cloud verändert die Fehleranalyse
In Cloud kann robots.txt dynamisch aus Konfiguration erzeugt werden, ohne physische Datei im Repository. Auch Sitemaps und Dateisystem haben eigene Vorgaben. Ist die Live-Antwort falsch, klären wir zuerst, ob Commerce, Fastly/CDN, PWA oder Headless-Frontend den öffentlichen Host besitzt.
Production, Staging und Integration sollten keine Crawl-/Indexierungs-Policy blind teilen. Wir prüfen robots.txt, Sitemap, Hostname und Indexierungsstatus pro Umgebung.
Headless und Multi-Store brauchen Host-weise Audits
Adobe unterscheidet aktuelle Empfehlungen für native Storefronts und alternative Lösungen. Eine PWA kann andere Cart-, Account-, Search- und Filterpfade verwenden als klassisches Magento. Wir mappen die realen Frontend-URLs und konfigurieren die Ebene, die den öffentlichen Host ausliefert. Bei mehreren Websites/Store Views wiederholen wir die Prüfung pro Host statt eine globale Policy anzunehmen.
Wir testen echte Commerce-URL-Typen
Neben der Syntax testen wir Produkt, Kategorie, interne Suche, Filter, Warenkorb, Konto und mindestens eine Parameter-URL. Danach prüfen wir, welche Ebene /robots.txt ausgeliefert hat und ob Canonical bzw. noindex zur Crawl-Policy passen. Ein generisches Blockmuster darf nicht versehentlich kommerziell wichtige Seiten aus dem Crawl-Pfad nehmen.
