panduan
Robots.txt untuk crawler AI: pencarian, pelatihan, dan akses
Bagaimana mengizinkan pencarian AI tanpa membuka semua crawler untuk pelatihan?
Baca panduan →Basis pengetahuan
Panduan robots.txt
Panduan praktis tentang crawling, pengindeksan, cakupan host, sitemap, parameter URL, cache, dan troubleshooting robots.txt.
Panduan Panduan robots.txt
panduan
Robots.txt vs noindex: bedakan crawling dan pengindeksan
Apakah robots.txt bisa mencegah pengindeksan dan kapan sebaiknya memakai noindex?
Baca panduan →
panduan
Crawl-delay di robots.txt: apakah Googlebot mendukungnya?
Apakah Crawl-delay bekerja untuk Googlebot dan bagaimana mengurangi beban crawling berlebihan?
Baca panduan →
panduan
Wildcard robots.txt dan prioritas aturan: *, $, dan pencocokan terpanjang
Aturan mana yang menang jika beberapa Allow dan Disallow cocok dengan URL yang sama?
Baca panduan →
panduan
Status HTTP robots.txt: 200, 404, 403, 429, dan 5xx
Apa yang dilakukan Googlebot saat robots.txt mengembalikan 404, 403, 429, atau 500?
Baca panduan →
panduan
Sitemap di robots.txt: cara kami menambah dan memeriksanya
Di mana menambahkan Sitemap di robots.txt dan bagaimana memeriksa beberapa referensi?
Baca panduan →
panduan
Robots.txt untuk subdomain: cara kami mengecek cakupannya
Apakah robots.txt domain utama berlaku untuk subdomain, HTTP, HTTPS, atau port lain?
Baca panduan →
panduan
Parameter URL di robots.txt: cara kami menguji filter dan facet
Bagaimana mengontrol URL berparameter dan facet tanpa memblokir halaman penting?
Baca panduan →
panduan
Ukuran dan encoding robots.txt: cara kami mengecek file besar
Apa yang terjadi jika robots.txt lebih dari 500 KiB atau bukan UTF-8?
Baca panduan →
panduan
Robots.txt vs meta robots: cara kami memilih kontrol yang tepat
Haruskah memakai robots.txt, meta robots, X-Robots-Tag, canonical, atau autentikasi?
Baca panduan →
panduan
Cache robots.txt: cara kami memastikan perubahan sudah aktif
Berapa lama robots.txt disimpan dalam cache dan bagaimana membedakan cache crawler dari kegagalan deploy?
Baca panduan →
panduan
Robots.txt untuk staging: cara kami menjaga situs uji dari hasil pencarian
Bagaimana menjaga staging dari hasil pencarian tanpa memakai robots.txt sebagai security?
Baca panduan →