Panduan robots.txt

Crawl-delay di robots.txt: apakah Googlebot mendukungnya?

Pelajari arti Crawl-delay, mengapa Googlebot tidak mendukung directive ini, dan cara mendiagnosis beban crawling berlebihan dengan aman.

Oleh Robots.txt Tools Editorial TeamTerakhir diverifikasi 2026-09-132 menit baca
Crawl-delay di robots.txt: apakah Googlebot mendukungnya?

Crawl-delay sering ditemukan dalam contoh robots.txt, tetapi dukungannya tidak universal. Untuk Google, faktanya jelas: Googlebot tidak mendukung Crawl-delay dalam robots.txt. Menambahkan angka detik tidak memaksa Googlebot menunggu selama itu.

Crawler lain dapat mengimplementasikannya sebagai ekstensi sendiri. Periksa dokumentasi operator bot sebelum menggunakan directive tersebut.

Contoh umum

User-agent: ExampleBot
Crawl-delay: 10

Tujuannya biasanya meminta jeda sekitar sepuluh detik. Namun RFC 9309 menstandarkan inti protokol, terutama grup User-agent dan pencocokan Allow/Disallow; tidak semua field historis menjadi standar universal.

Mengapa Crawl-delay bisa memberi rasa aman palsu

Jika crawler mengabaikannya, beban tidak berubah. Penyebab sebenarnya dapat berupa:

  • URL facet/filter yang meledak;
  • kalender, pencarian, atau parameter tanpa batas;
  • respons 5xx memicu retry;
  • bot yang tidak mematuhi robots.txt;
  • User-agent lain yang sebenarnya menyebabkan beban;
  • aplikasi lambat sehingga volume normal terasa berat.

Mulai dari log: User-agent, frekuensi, path, dan status HTTP.

Jangan gunakan 401/403 untuk memperlambat Googlebot

Google memperlakukan sebagian besar 4xx pada /robots.txt, kecuali 429, seperti tidak ada file robots.txt yang valid. Itu dapat menghilangkan batasan yang justru ingin Anda sampaikan.

HTTP/1.1 403 Forbidden

bukan kontrol crawl rate yang benar.

429 dan 5xx berbeda

429 Too Many Requests dan error server menandakan overload atau gangguan dan dapat mengurangi crawling sementara. Namun ini bukan pengganti desain URL dan kapasitas server yang baik.

Perbaiki ledakan URL, blokir hanya path yang benar-benar tidak perlu, tingkatkan cache/kapasitas, dan gunakan kontrol khusus penyedia bila tersedia.

Untuk path yang tidak perlu, gunakan Disallow secara terarah

User-agent: *
Disallow: /pencarian-internal/
Disallow: /cart/
Disallow: /session/

Sitemap: https://example.com/sitemap.xml

Ini mengurangi permintaan ke path tersebut, bukan memberi jeda pada semua request. Disallow bukan pengganti noindex.

Situs besar perlu efisiensi crawling

Pada e-commerce, marketplace, dan publisher, cek apakah crawler mencapai halaman kanonis penting tanpa membuang aktivitas pada filter, sort, session ID, preview, atau pagination bernilai rendah.

Alur diagnosis

  • identifikasi crawler di log;
  • cek apakah operator mendukung Crawl-delay;
  • ukur volume dan path teratas;
  • cari ledakan URL;
  • periksa status, ukuran, dan encoding /robots.txt;
  • pastikan halaman/resource penting tidak ikut diblokir;
  • analisis 429 dan 5xx;
  • uji perubahan pada URL nyata;
  • pantau log setelah deploy.

Untuk Googlebot: jangan bergantung pada Crawl-delay; gunakan kontrol yang benar-benar didukung dan benahi akar masalah crawling.

Panduan terkait