Robots.txt Shopify: robots.txt.liquid, aturan default, dan SEO

Shopify membuat robots.txt secara otomatis untuk setiap toko. Dokumentasi platform menyatakan file default cocok untuk sebagian besar toko, jadi pendekatan paling aman adalah memahami kebijakan yang sudah dihasilkan dan hanya menyesuaikannya bila ada kebutuhan yang jelas.

Untuk perubahan lanjutan, Shopify menyediakan template robots.txt.liquid. Shopify juga memperingatkan bahwa customisasi yang salah dapat menyebabkan kehilangan traffic yang signifikan.

Lokasi robots.txt Shopify

Di root domain utama:

https://example.com/robots.txt

Simpan salinan file aktif sebelum mengubah apa pun. Jangan menyalin robots.txt toko lain karena app, Markets, tema, dan aturan platform dapat berbeda.

Kapan robots.txt.liquid perlu digunakan

Customisasi masuk akal bila ada kebutuhan seperti:

• app menghasilkan banyak URL yang tidak perlu di-crawl;
• path tertentu perlu dibuka;
• sitemap tambahan perlu ditambahkan;
• crawler tertentu memerlukan aturan berdasarkan dokumentasi resmi;
• akses crawler AI di web terbuka perlu diatur.

File yang lebih panjang bukan berarti SEO yang lebih baik.

Pertahankan aturan default Shopify bila memungkinkan

Liquid memungkinkan penambahan atau penghapusan directive tanpa mengganti seluruh file dengan teks statis. Mengganti semuanya dapat membuat kebijakan berhenti mengikuti perubahan Shopify di masa depan.

Buat override sekecil mungkin dan catat alasan tiap perubahan.

Crawling berbeda dari pengindeksan

Shopify menjelaskan bahwa URL dapat ditemukan dan diindeks lewat sinyal lain meski crawling diblokir. Inilah alasan pesan seperti “diindeks meski diblokir robots.txt” dapat muncul.

Jika halaman publik harus keluar dari hasil pencarian, Disallow bukan pengganti noindex. Jika informasi privat, gunakan autentikasi.

Sitemap

Shopify menyediakan sitemap secara otomatis. Bila menambahkan directive, gunakan URL absolut:

Sitemap: https://example.com/sitemap.xml

Duplikasi baris yang sama tidak memberi nilai SEO tambahan. Yang penting sitemap berisi URL kanonis dan indexable.

Crawler AI dan Shopify Catalog

Dokumentasi Shopify membedakan crawling langsung dari web terbuka dengan distribusi data produk melalui Shopify Catalog ke storefront agentik yang sudah diaktifkan.

Anda dapat mengizinkan atau memblokir User-agent tertentu di robots.txt.liquid, tetapi memblokir crawler di /robots.txt tidak otomatis menghentikan distribusi data melalui Shopify Catalog ke channel yang Anda aktifkan.

Pisahkan tujuan berikut:

• crawling langsung halaman publik;
• penemuan melalui search/AI;
• crawler spesifik penyedia;
• distribusi katalog melalui channel Shopify.

Hati-hati dengan filter, collection, dan pencarian

Sebelum membuat aturan luas, siapkan contoh collection kanonis, filter, pencarian internal, produk dengan parameter, URL market/bahasa, dan route app. Allow yang terlalu luas dapat membuka ruang URL yang besar.

Alur perubahan yang aman

1. Simpan /robots.txt aktif.
2. Tulis tujuan perubahan dalam satu kalimat.
3. Daftar URL yang harus diizinkan dan diblokir.
4. Buat perubahan Liquid sekecil mungkin.
5. Validasi hasil robots.txt.
6. Uji URL dan User-agent representatif.
7. Publikasikan lalu ambil ulang /robots.txt.
8. Pantau Search Console dan log.
9. Review ulang customisasi setelah perubahan platform.

Untuk sebagian besar toko, file default cukup. Jika perubahan memang dibutuhkan, pertahankan default Shopify, batasi override, dan uji hasil yang benar-benar disajikan di produksi.