Di Magento/Adobe Commerce, kami menentukan lebih dulu lapisan yang menyajikan storefront publik.
Kami mulai dari Content → Design → Configuration
Pada store view yang tepat, kami memeriksa Search Engine Robots, lalu membandingkannya dengan /robots.txt live.
Default Robots adalah kontrol berbeda
Default Robots mengatur directive indexing halaman; itu bukan file crawl robots.txt.
Ecommerce memerlukan URL nyata
Search, cart, account, dan facet berbeda antar toko. Kami tidak menyalin blocklist generik dan memakai panduan parameter untuk faceted URL.
Cloud mengubah konteks environment
Pada Adobe Commerce Cloud, kami memeriksa staging, production, sitemap, dan kontrol indexing per environment.
PWA/headless dapat memindahkan ownership
Jika PWA/headless frontend atau CDN menyajikan host publik, lapisan itu bisa memiliki /robots.txt. Kami memeriksa Cloud, PWA/headless, dan respons live dengan checker.
Adobe Commerce Cloud mengubah urutan troubleshooting
Pada Cloud, robots.txt dapat dibuat on demand dari konfigurasi tanpa file fisik di repository. Sitemap dan filesystem juga memiliki constraint tersendiri. Jika response live salah, kami menentukan dulu apakah Commerce, Fastly/CDN, PWA, atau frontend headless yang memiliki hostname publik.
Production, staging, dan integration tidak seharusnya berbagi policy indexing secara buta. Kami mengecek robots.txt, sitemap, hostname, dan status indexing per environment.
Headless dan multi-store diaudit per host
Dokumentasi Adobe terbaru membedakan native storefront dari solusi storefront lain. PWA bisa memiliki route cart, account, search, dan filter yang berbeda dari Magento klasik. Kami memetakan URL frontend aktual dan mengatur layer yang menyajikan public response. Untuk banyak website/store view, audit ownership dan policy diulang untuk setiap hostname.
Kami menguji tipe URL ecommerce yang nyata
Validasi tidak berhenti pada syntax. Kami membuat kasus untuk produk canonical, kategori, internal search, filter, cart, account, dan setidaknya satu URL berparameter. Setelah itu kami memastikan layer mana yang menyajikan /robots.txt dan apakah canonical/noindex masih sejalan dengan crawl policy. Rule generik tidak boleh menghemat crawl dengan mengorbankan halaman komersial penting.
