Di Wix, kami mulai dari SEO & GEO → Tools and settings → Robots.txt Editor dan membandingkannya dengan file publik.
Kami membaca live file dulu
Ini membantu memahami default platform sebelum custom rule ditambahkan.
Reset to Default adalah jalur pemulihan
Jika custom rule sudah sulit dipertanggungjawabkan, Reset to Default mengembalikan baseline yang dikenal.
noindex berada di kontrol halaman
Untuk halaman publik di luar index, kami memakai pengaturan index/noindex yang tepat. Konten privat memakai password atau member access.
Kami memverifikasi setelah perubahan
Kami membuka kembali /robots.txt, memakai validator, dan menguji URL di tester.
Kami memisahkan fungsi
Robots.txt mengatur crawling, pengaturan halaman mengatur indexing, dan access control melindungi konten.
