Kontrol crawling WordPress
Generator robots.txt WordPress
Mulai dari preset WordPress yang konservatif, lalu sesuaikan jalur, grup crawler, dan sitemap untuk situs yang benar-benar Anda kelola. Tujuannya bukan menyalin satu “robots.txt terbaik” yang dianggap universal, tetapi membuat aturan yang dapat dijelaskan dan diuji.
Pilih mode pengeditan
Mode sederhana lebih aman untuk pengaturan cepat. Editor lanjutan menampilkan semua grup crawler dan aturan.
Kebijakan berdasarkan tujuan crawler
Mulai netral, lalu terapkan pembatasan crawler AI hanya bila sesuai dengan kebijakan Anda.
Default netral: biarkan crawler pencarian, pencarian AI, dan kontrol AI terbuka kecuali aturan jalur Anda memblokirnya secara eksplisit.
Jalur yang diblokir
Mulai dari jalur yang disarankan atau tambahkan milik Anda. Blokir hanya jalur yang memang ingin Anda hindarkan dari crawler yang mematuhi robots.txt.
Jalur yang disarankan
Tambah jalur khusus
Tambahkan jalur situs apa pun. Jalur tanpa slash awal akan ditambahkan otomatis; URL HTTP(S) lengkap disederhanakan menjadi path dan query.
Pencarian
Diizinkan secara default
Pencarian AI
Diizinkan secara default
Kontrol / pelatihan AI
Diizinkan secara default
Sebelum dipublikasikan
- 1. Buat
Tinjau hasil langsung. - 2. Validasi
Periksa sintaks dan kompatibilitas. - 3. Uji URL
Verifikasi jalur dan crawler penting. - 4. Publikasikan
Unggah sebagai /robots.txt di root situs.
robots.txt yang dibuat
Hasil langsung; pembuatan dan validasi tetap berjalan di browser Anda.
User-agent: *Allow: /wp-admin/admin-ajax.phpDisallow: /wp-admin/ Tidak ada peringatan sintaks atau kompatibilitas yang terdeteksi.
Yang dilakukan preset WordPress
WordPress Core dapat menghasilkan robots.txt secara dinamis. Responsnya menyertakan aturan Disallow untuk direktori admin dan Allow untuk endpoint AJAX admin. Preset ini mengikuti pola konservatif tersebut dan membiarkan bagian lain terbuka kecuali Anda menambah aturan.
Disallow /wp-admin/
Mencegah crawler yang mematuhi robots.txt meng-crawl direktori admin WordPress. Ini hanya petunjuk crawler, bukan pengamanan; area admin tetap memerlukan autentikasi dan perlindungan normal.
Allow /wp-admin/admin-ajax.php
Mempertahankan akses crawling ke endpoint yang dapat digunakan tema dan plugin pada sisi publik. Aturan /wp-admin/ yang luas sebaiknya tidak menutup sumber daya yang dibutuhkan halaman publik.
Referensi utama WordPress: Dokumentasi WordPress Core untuk do_robots().
Keputusan robots.txt WordPress yang perlu ditinjau
Plugin, fitur e-commerce, navigasi facet, pencarian internal, dan custom post type dapat membuat URL yang tidak ada pada instalasi WordPress dasar. Tinjau pola tersebut sebelum menambah aturan Disallow yang luas.
Pencarian internal
Jika Anda memblokir URL hasil pencarian WordPress, pastikan aturan hanya cocok dengan jalur atau parameter yang memang ingin dikontrol. Hindari pola luas yang juga mengenai posting atau halaman kategori normal.
WooCommerce dan alur akun
Keranjang, checkout, akun, wishlist, dan URL katalog berfilter dapat menjadi kandidat kontrol crawling, tetapi jalur persisnya bergantung pada konfigurasi dan plugin. Uji URL produk dan kategori representatif sebelum publikasi.
URL facet dan berparameter
Filter dapat membuat banyak kombinasi URL yang dapat di-crawl. robots.txt dapat mengurangi crawling pola tertentu, tetapi bukan pengganti strategi canonical dan pengindeksan yang disengaja.
Sitemap XML
Gunakan URL sitemap yang benar-benar disajikan situs produksi. WordPress Core atau plugin SEO dapat menyediakan sitemap, jadi periksa URL aktif dan jangan berasumsi semua situs WordPress menggunakan endpoint yang sama.
robots.txt virtual vs fisik di WordPress
WordPress dapat menyajikan robots.txt secara dinamis ketika permintaan mencapai WordPress. robots.txt fisik atau file yang disajikan pada tingkat server dapat mengubah respons sebenarnya. Plugin juga dapat memodifikasi hasil yang dibuat.
Untuk SEO, file yang penting adalah yang benar-benar diterima crawler dari URL produksi. Setelah perubahan, gunakan Pemeriksa aktif dan jangan mengandalkan editor WordPress, pengaturan plugin, atau file di disk sebagai gambaran respons akhir.
Sebelum memublikasikan perubahan robots.txt WordPress
- 1
Konfirmasi jalur produksi
Periksa URL nyata untuk admin, pencarian, keranjang, akun, filter, dan sitemap.
- 2
Validasi seluruh file
Temukan grup yang salah format, direktif sitemap yang salah, dan pemblokiran seluruh situs yang berbahaya.
- 3
Uji URL representatif
Sertakan beranda, posting, halaman, kategori, produk bila relevan, dan semua jalur yang ingin diblokir.
- 4
Periksa respons aktif
Setelah deployment, ambil /robots.txt dari host publik dan pastikan aturan yang diharapkan benar-benar disajikan.
Pertanyaan umum robots.txt WordPress
Apakah semua situs WordPress memerlukan robots.txt kustom?
Tidak. WordPress dapat menghasilkan robots.txt secara dinamis. Tambahkan konfigurasi kustom hanya bila ada kebijakan crawling tertentu yang perlu diterapkan dan diuji.
Haruskah wp-admin diblokir?
WordPress Core menyertakan Disallow untuk direktori admin dan Allow untuk endpoint AJAX admin. Itu hanya petunjuk untuk crawler dan bukan perlindungan area admin.
Haruskah halaman pencarian dan filter WordPress diblokir?
Kadang-kadang, tetapi tidak ada aturan universal. Putuskan berdasarkan pola URL dan tujuan crawling situs Anda, lalu uji halaman penting agar pola luas tidak memblokir konten berguna.
Bisakah robots.txt memberi noindex pada halaman WordPress?
Tidak. robots.txt terutama mengontrol crawling. Jika URL yang dapat di-crawl harus tidak muncul di hasil pencarian, gunakan kontrol pengindeksan yang sesuai dan jangan hanya mengandalkan Disallow.