Di Webflow, kami memasukkan robots.txt ke workflow publish. Pengaturannya berada di Site settings → SEO → Indexing.
Kami mengecek production lebih dulu
Kami membuka /robots.txt dan mencari Disallow yang terlalu luas, domain salah, serta Sitemap: duplikat.
Kami memperhitungkan sitemap otomatis
Sebelum menambahkan baris lain, kami mengecek apakah Webflow sudah memasukkan sitemap. Reverse proxy atau multi-site perlu mengevaluasi opsi dokumentasi untuk mengganti referensi tersebut.
Save belum sama dengan publish
Kami edit, save, publish, lalu mengambil file lagi. Jika masih lama, cache dan domain routing diperiksa.
Content-Signal adalah lapisan lain
Content-Signal membahas preferensi penggunaan konten AI; robots.txt membahas crawler access. Kami tidak mencampur keduanya.
Kami menguji sebelum release
Kami memakai tester dan validator. Preview privat memakai autentikasi.
Content-Signal bukan standar robots.txt
Webflow mendokumentasikan header Content-Signal untuk preferensi seperti ai-train=no, search=yes, dan ai-input=no, tetapi juga menyatakan mekanisme itu berbasis extension yang masih diusulkan. robots.txt menjawab apakah crawler boleh mengakses; Content-Signal menyatakan preferensi penggunaan konten jika penerima mendukungnya.
Sitemap, publish, dan domain harus konsisten
Webflow biasanya menambahkan sitemap secara otomatis. Sebelum menambah baris manual kami mengecek duplikasi dan canonical domain. Pada reverse proxy atau multi-site, kami menentukan layer mana yang benar-benar menyajikan /robots.txt dan /sitemap.xml.
Save belum sama dengan publish. Verifikasi akhir dilakukan pada custom domain publik setelah publish; staging domain diperiksa sebagai origin terpisah.
