Kontrol crawling Blogger
Generator robots.txt Blogger
Buat titik awal robots.txt kustom untuk Blogger hanya bila Anda memiliki kebijakan crawling tertentu yang perlu diterapkan. Blogger sudah menyediakan perilaku robots.txt default, sehingga aturan kustom harus diperlakukan sebagai penggantian yang disengaja, bukan pengaturan SEO wajib.
Sebagian besar situs Blogger tidak memerlukan robots.txt kustom
Dokumentasi Blogger menjelaskan bahwa saat robots.txt kustom diaktifkan, teks Anda menggantikan konten robots.txt default. Jika tidak ada masalah crawling tertentu yang ingin diselesaikan, mempertahankan default platform adalah pilihan awal yang lebih aman.
Pilih mode pengeditan
Mode sederhana lebih aman untuk pengaturan cepat. Editor lanjutan menampilkan semua grup crawler dan aturan.
Kebijakan berdasarkan tujuan crawler
Mulai netral, lalu terapkan pembatasan crawler AI hanya bila sesuai dengan kebijakan Anda.
Default netral: biarkan crawler pencarian, pencarian AI, dan kontrol AI terbuka kecuali aturan jalur Anda memblokirnya secara eksplisit.
Jalur yang diblokir
Mulai dari jalur yang disarankan atau tambahkan milik Anda. Blokir hanya jalur yang memang ingin Anda hindarkan dari crawler yang mematuhi robots.txt.
Jalur yang disarankan
Tambah jalur khusus
Tambahkan jalur situs apa pun. Jalur tanpa slash awal akan ditambahkan otomatis; URL HTTP(S) lengkap disederhanakan menjadi path dan query.
Pencarian
Diizinkan secara default
Pencarian AI
Diizinkan secara default
Kontrol / pelatihan AI
Diizinkan secara default
Sebelum dipublikasikan
- 1. Buat
Tinjau hasil langsung. - 2. Validasi
Periksa sintaks dan kompatibilitas. - 3. Uji URL
Verifikasi jalur dan crawler penting. - 4. Publikasikan
Unggah sebagai /robots.txt di root situs.
robots.txt yang dibuat
Hasil langsung; pembuatan dan validasi tetap berjalan di browser Anda.
User-agent: *Disallow: /searchDisallow: /search/label/ Tidak ada peringatan sintaks atau kompatibilitas yang terdeteksi.
Yang dicoba dikontrol preset Blogger
Blogger biasanya memiliki URL hasil pencarian dan label yang berbeda dari URL posting dan halaman biasa. Preset dimulai dengan pemblokiran konservatif pada jalur pencarian agar Anda dapat meninjau polanya, tetapi tetap hanya merupakan titik awal untuk blog Anda.
URL hasil pencarian
Preset menyertakan /search agar crawler yang mematuhi robots.txt menghindari jalur hasil pencarian Blogger. Periksa URL tepat yang dibuat tema dan navigasi Anda sebelum mempertahankan atau memperluas aturan.
URL hasil label
Halaman label Blogger umumnya berada di bawah /search/label/. Uji URL label nyata dan URL posting normal sebelum publikasi agar pola yang luas tidak mengenai konten yang seharusnya tetap dapat di-crawl.
Posting dan halaman
Posting utama dan halaman mandiri biasanya tetap harus dapat di-crawl kecuali Anda sengaja memiliki kebijakan berbeda. Uji setidaknya satu URL representatif dari setiap jenis konten.
Direktif Sitemap
Gunakan URL sitemap yang benar-benar disajikan blog produksi. Hindari menyalin contoh lama Atom feed atau parameter seluler dari tutorial lain tanpa terlebih dahulu memeriksa URL aktif.
Cara menggunakan robots.txt kustom di Blogger
- 1
Tentukan apakah Anda benar-benar perlu mengganti default
Jika perilaku default Blogger sudah sesuai dengan kebijakan crawling Anda, jangan aktifkan file kustom hanya karena tutorial SEO menyediakan contoh.
- 2
Buat dan tinjau aturan
Bandingkan setiap jalur yang diblokir dengan URL yang benar-benar ada di blog. Hapus aturan yang tidak dapat Anda jelaskan.
- 3
Buka Crawler dan pengindeksan
Di pengaturan Blogger, aktifkan robots.txt kustom hanya saat Anda siap mengganti konten default dengan teks yang sudah ditinjau.
- 4
Uji sebelum dan sesudah menyimpan
Periksa posting, halaman, URL label, URL pencarian, dan sitemap. Setelah menyimpan, periksa juga respons /robots.txt aktif.
Referensi resmi platform: Bantuan Blogger — Mengelola setelan blog. Lihat bagian crawler dan pengindeksan untuk robots.txt kustom dan tag header robots kustom.
robots.txt kustom dan tag header robots adalah kontrol yang berbeda
Blogger menyediakan kontrol terpisah untuk robots.txt kustom dan tag header robots kustom. Aturan Disallow di robots.txt mengontrol akses crawling ke jalur yang cocok; direktif pengindeksan adalah kontrol yang berbeda.
Jangan gunakan blok crawling sebagai pengganti keputusan pengindeksan. Jika halaman perlu dapat di-crawl agar mesin telusur melihat direktif pengindeksan, memblokir URL tersebut di robots.txt dapat bertentangan dengan tujuan itu.
URL Blogger yang sebaiknya diuji sebelum publikasi
Beranda
/Biasanya tetap dapat di-crawl
Posting terbaru
/YYYY/MM/post-slug.htmlPastikan posting normal tidak terkena aturan yang terlalu luas
Halaman mandiri
/p/page-slug.htmlPastikan halaman statis tetap dapat diakses bila memang diinginkan
Hasil label
/search/label/examplePeriksa apakah kebijakan pencarian/label Anda diterapkan
Hasil pencarian
/search?q=examplePastikan crawling hasil pencarian sesuai dengan kebijakan Anda
Sitemap
/sitemap.xmlPastikan URL sitemap nyata dapat dimuat dan tidak diblokir
Pertanyaan umum robots.txt Blogger
Apakah saya perlu mengaktifkan robots.txt kustom di Blogger?
Biasanya tidak. Blogger sudah memiliki perilaku default. Aktifkan file kustom hanya bila Anda memiliki kebijakan crawling tertentu dan siap menguji aturan penggantinya.
Apakah robots.txt kustom menggantikan default Blogger?
Ya. Dokumentasi Blogger menjelaskan teks kustom digunakan sebagai pengganti konten robots.txt default, sehingga menyalin template tanpa tinjauan dapat menyebabkan masalah crawling.
Haruskah /search diblokir di Blogger?
Menjaga pencarian internal dan hasil label di luar antrean crawling bisa masuk akal, tetapi periksa URL yang digunakan blog Anda dan uji posting serta halaman normal sebelum mempertahankan aturan luas.
Bisakah robots.txt mencegah URL Blogger diindeks?
robots.txt terutama mengontrol crawling. Kontrol pengindeksan terpisah, dan memblokir URL dapat mencegah crawler melihat direktif pengindeksan pada halaman.