Pola siap salin

Contoh robots.txt

Pola robots.txt umum untuk Allow, Disallow, Sitemap, wildcard, dan aturan khusus crawler. Gunakan sebagai titik awal lalu verifikasi hasilnya pada situs Anda sebelum dipublikasikan.

Izinkan semua crawler

Nilai Disallow kosong tidak memblokir jalur apa pun. Anda tidak memerlukan file robots.txt jika situs tidak memiliki pembatasan crawling.

User-agent: *
Disallow:

Blokir semua crawler

Memblokir seluruh situs untuk crawler yang mematuhi robots.txt. Gunakan dengan hati-hati dan jangan menganggapnya sebagai kontrol akses.

User-agent: *
Disallow: /

Blokir direktori

Memblokir URL yang jalurnya dimulai dengan /private/.

User-agent: *
Disallow: /private/

Izinkan jalur di dalam direktori yang diblokir

Aturan Allow yang lebih spesifik dapat mengizinkan jalur di dalam area yang diblokir lebih luas.

User-agent: *
Disallow: /admin/
Allow: /admin/help/

Tambahkan sitemap

Direktif Sitemap menggunakan URL HTTP(S) absolut.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Blokir pola file

Wildcard * dapat mencocokkan rangkaian karakter dalam pola jalur.

User-agent: *
Disallow: /*.pdf$

Blokir hanya Googlebot

Grup khusus Googlebot dievaluasi terpisah dari grup wildcard.

User-agent: Googlebot
Disallow: /private-for-google/

Izinkan Googlebot dan blokir grup wildcard

Untuk Googlebot, grup khusus memiliki prioritas dibanding grup wildcard fallback.

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

Blokir GPTBot dan izinkan OAI-SearchBot

OpenAI mendokumentasikan GPTBot dan OAI-SearchBot sebagai kontrol yang berbeda. Periksa dokumentasi terbaru penyedia sebelum memublikasikan aturan khusus crawler.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Jenis situs

Mulai dari jalur yang disarankan atau tambahkan milik Anda. Blokir hanya jalur yang memang ingin Anda hindarkan dari crawler yang mematuhi robots.txt.

WordPress

Mulai dengan /wp-admin/ diblokir dan admin-ajax.php tetap dapat di-crawl.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

E-commerce

Mulai terbuka, dengan jalur umum keranjang, checkout, akun, dan pencarian sebagai pilihan cepat.

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Staging / blokir semua

Memblokir seluruh situs untuk crawler yang mematuhi robots.txt. Gunakan autentikasi juga bila lingkungan harus tetap privat.

User-agent: *
Disallow: /

Mode staging sengaja memblokir seluruh situs. Gunakan autentikasi bila lingkungan harus tetap privat.

Buat file Anda sendiri

Gunakan generator bila perlu menggabungkan beberapa jalur, menambahkan beberapa sitemap, atau membuat grup khusus crawler.

Buka Generator robots.txt

Uji sebelum dipublikasikan

Aturan yang tumpang tindih dan grup User-agent khusus dapat mengubah hasil. Uji URL representatif dan jangan berasumsi contoh akan bekerja sama pada semua situs.

Buka Penguji robots.txt →