Kami memperlakukan Sitemap: sebagai referensi discovery, bukan aturan Allow atau Disallow.
Kami memeriksa sitemap lebih dulu
Kami membuka XML, memeriksa status HTTP, HTTPS, host canonical, dan URL yang tercantum. Setelah itu kami memakai URL absolut:
Sitemap: https://example.com/sitemap.xml
Beberapa sitemap atau satu index
Beberapa baris Sitemap: valid. Jika ada sitemap index yang stabil, kami biasanya merujuk index tersebut agar robots.txt tidak menjadi inventaris kedua.
Sitemap: https://example.com/sitemap-index.xml
Kami memisahkan host
Robots.txt domain utama tidak otomatis mengatur subdomain. Untuk arsitektur multi-host, kami memeriksa setiap origin dan memakai panduan subdomain bila scope menjadi masalah utama.
Search Console tetap berguna
Referensi sitemap membantu discovery, tetapi tidak menjamin kualitas XML. Kami juga memeriksa redirect, noindex, dan URL non-canonical.
Kami memverifikasi production
Setelah publish, kami membuka /robots.txt, setiap sitemap, lalu memakai checker dan validator.
