Di Webflow, kami memasukkan robots.txt ke workflow publish. Pengaturannya berada di Site settings → SEO → Indexing.
Kami mengecek production lebih dulu
Kami membuka /robots.txt dan mencari Disallow yang terlalu luas, domain salah, serta Sitemap: duplikat.
Kami memperhitungkan sitemap otomatis
Sebelum menambahkan baris lain, kami mengecek apakah Webflow sudah memasukkan sitemap. Reverse proxy atau multi-site perlu mengevaluasi opsi dokumentasi untuk mengganti referensi tersebut.
Save belum sama dengan publish
Kami edit, save, publish, lalu mengambil file lagi. Jika masih lama, cache dan domain routing diperiksa.
Content-Signal adalah lapisan lain
Content-Signal membahas preferensi penggunaan konten AI; robots.txt membahas crawler access. Kami tidak mencampur keduanya.
Kami menguji sebelum release
Kami memakai tester dan validator. Preview privat memakai autentikasi.
