Panduan robots.txt

Robots.txt untuk crawler AI: pencarian, pelatihan, dan akses

Atur crawler AI di robots.txt tanpa mencampur penemuan pencarian, kontrol pelatihan, dan noindex. Termasuk contoh OAI-SearchBot dan GPTBot.

Oleh Robots.txt Tools Editorial TeamTerakhir diverifikasi 2026-10-014 menit baca
Robots.txt untuk crawler AI: pencarian, pelatihan, dan akses

Saat mengatur crawler AI, pisahkan tiga keputusan: bolehkah bot melakukan crawling ke URL, apakah halaman ingin tetap ditemukan melalui pencarian atau jawaban, dan apakah konten boleh masuk ke tujuan pelatihan tertentu milik penyedia? Satu aturan Disallow: / untuk semua bot AI sering kali terlalu kasar.

OpenAI saat ini membedakan OAI-SearchBot dan GPTBot. Jika publisher ingin konten tetap dapat ditemukan dan digunakan dalam ringkasan atau cuplikan ChatGPT Search, panduan OpenAI menyarankan agar OAI-SearchBot tidak diblokir. GPTBot dapat diblokir secara terpisah untuk halaman yang ingin dikeluarkan dari cakupan potensi pelatihan.

Taksonomi crawler saat ini — diverifikasi 1 Oktober 2026

Nama crawler penting karena tidak semua permintaan terkait AI memiliki tujuan atau perilaku robots.txt yang sama.

  • OpenAI: OAI-SearchBot adalah crawler otomatis untuk visibilitas ChatGPT Search; GPTBot digunakan untuk pengembangan/pelatihan model. ChatGPT-User dipakai untuk akses halaman tertentu yang dipicu pengguna, dan OpenAI menyatakan robots.txt mungkin tidak berlaku untuk permintaan tersebut. OAI-AdsBot hanya mengunjungi landing page yang diajukan sebagai iklan ChatGPT dan datanya tidak digunakan untuk melatih model fondasi generatif.
  • Anthropic: ClaudeBot terkait pengumpulan potensial untuk pelatihan, Claude-SearchBot untuk kualitas pencarian, dan Claude-User untuk pengambilan yang dipicu pengguna. Anthropic menyatakan botnya mematuhi robots.txt dan mendokumentasikan dukungan untuk ekstensi non-standar Crawl-delay.
  • Google: Google-Extended mengontrol pelatihan dan grounding Gemini tanpa memengaruhi penyertaan atau peringkat Google Search. Google-CloudVertexBot berbeda dan mencakup crawl yang diminta pemilik situs untuk membangun Vertex AI Agents.
  • Perplexity: panduan saat ini menyebut PerplexityBot sebagai crawler indeks pencarian. Jika diblokir, Perplexity menyatakan tidak akan mengindeks teks penuh atau sebagian halaman, meski domain, judul, dan ringkasan fakta singkat masih dapat disimpan.

Sebelum menyalin daftar bot, klasifikasikan setiap token sebagai pencarian otomatis, kontrol model/pelatihan, pengambilan atas permintaan pengguna atau agen, atau fetch layanan khusus.

Tentukan hasil yang diinginkan terlebih dahulu

Tujuanrobots.txtKontrol tambahan
Mempertahankan pencarian biasa dan pencarian AIJangan blokir crawler pencarian terkaitPertahankan halaman tetap dapat diindeks bila ingin tampil
Izinkan pencarian AI, blokir crawler pelatihanPisahkan grup User-agentCek dokumentasi terbaru penyedia
Keluarkan halaman publik dari hasilJangan hanya mengandalkan robots.txtIzinkan crawling dan kirim noindex
Lindungi konten privatJangan gunakan robots.txt sebagai keamananGunakan autentikasi/otorisasi

robots.txt adalah petunjuk untuk crawler yang mematuhinya, bukan sistem kontrol akses.

Contoh: izinkan ChatGPT Search, blokir GPTBot

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Yang penting adalah memisahkan tujuan. Nama dan kebijakan crawler dapat berubah, jadi selalu cek sumber resmi sebelum memublikasikan.

Disallow bukan noindex

Disallow mengatur crawling. noindex mengatur pengindeksan pada sistem yang mendukungnya. Jika halaman diblokir lewat robots.txt, crawler mungkin tidak pernah membaca meta robots pada halaman tersebut.

User-agent: OAI-SearchBot
Disallow: /preview/

bersama:

<meta name="robots" content="noindex">

bisa bertentangan untuk halaman publik yang hanya ingin dikeluarkan dari hasil. Biasanya lebih tepat mengizinkan crawling dan menyajikan noindex. Konten yang benar-benar privat harus dilindungi autentikasi atau password-based access control (authentication), bukan robots.txt.

Hindari daftar bot raksasa tanpa konteks

Daftar panjang cepat kedaluwarsa dan mencampur fungsi pencarian, pelatihan, dan akses yang dipicu pengguna. Kebijakan kecil dengan alasan yang jelas lebih mudah diaudit.

# Izinkan penemuan melalui ChatGPT Search
User-agent: OAI-SearchBot
Allow: /

# Preferensi terpisah untuk GPTBot
User-agent: GPTBot
Disallow: /

Gabungkan dengan aturan normal situs

Mengizinkan crawler pencarian AI tidak berarti membuka area akun, keranjang, atau pencarian internal.

User-agent: OAI-SearchBot
Disallow: /account/
Disallow: /cart/
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow: /account/
Disallow: /cart/
Allow: /

Uji URL nyata karena aturan yang paling spesifik lebih penting daripada urutan visual.

Checklist sebelum publikasi

  • /robots.txt disajikan dari root host yang benar;
  • halaman penting tetap terbuka untuk Googlebot/Bingbot;
  • token crawler AI berasal dari dokumentasi terbaru;
  • pencarian dan pelatihan dipisahkan bila penyedia menyediakan crawler berbeda;
  • halaman noindex masih dapat dimuat crawler yang harus membacanya;
  • data sensitif dilindungi kontrol akses;
  • sitemap berisi URL publik kanonis;
  • aturan divalidasi dan diuji pada URL representatif.

robots.txt dapat di-cache. Setelah deploy, periksa file aktif, status HTTP, log, dan traffic referral. Kebijakan jangka panjang yang paling aman adalah menentukan fungsi tiap crawler, menulis aturan sesedikit mungkin, lalu meninjau dokumentasi resmi secara berkala.

Panduan terkait