Wir behandeln Sitemap: als Discovery-Hinweis und nicht als Allow- oder Disallow-Regel.
Wir prüfen zuerst die Sitemap
Vor einer Änderung öffnen wir die XML-Datei, prüfen HTTP-Status, HTTPS, kanonischen Host und die enthaltenen URLs. Danach verwenden wir eine absolute URL:
Sitemap: https://example.com/sitemap.xml
Relative Angaben wie Sitemap: /sitemap.xml vermeiden wir.
Mehrere Sitemaps sind möglich
Mehrere Sitemap:-Zeilen sind zulässig. Wenn ein stabiler Sitemap-Index existiert, verweisen wir meist auf diesen, damit robots.txt nicht zu einer zweiten Dateiliste wird.
Sitemap: https://example.com/sitemap-index.xml
Host und Subdomains bleiben getrennt
example.com und shop.example.com haben eigene robots.txt-Bereiche. Bei mehreren Hosts prüfen wir jede wichtige Origin und nutzen bei Scope-Fragen den Subdomain-Ratgeber.
Search Console ergänzt die Kontrolle
Die robots.txt-Zeile unterstützt Discovery, ersetzt aber kein Monitoring. Auch eine erreichbare Sitemap kann Redirects, noindex-URLs oder nicht-kanonische Seiten enthalten.
Wir prüfen Production nach dem Release
Wir öffnen /robots.txt, jeden referenzierten Sitemap-Link und Stichproben aus der XML. Danach verwenden wir Checker, Validator und bei Regeländerungen den Tester.
