Consenti tutti i crawler
Un valore Disallow vuoto non blocca alcun percorso. Non serve un file robots.txt se il sito non ha restrizioni di scansione.
User-agent: *
Disallow:
Modelli pronti da copiare
Esempi di robots.txt
Modelli robots.txt comuni per Allow, Disallow, Sitemap, wildcard e regole specifiche per crawler. Usali come punto di partenza e verifica il risultato sul tuo sito prima di pubblicare.
Blocca tutti i crawler
Blocca l'intero sito per i crawler compatibili. Usalo con cautela e non considerarlo un controllo di accesso.
User-agent: *
Disallow: /
Blocca una directory
Blocca gli URL il cui percorso inizia con /private/.
User-agent: *
Disallow: /private/
Consenti un percorso dentro una directory bloccata
Una regola Allow più specifica può consentire un percorso all'interno di un'area bloccata in modo più ampio.
User-agent: *
Disallow: /admin/
Allow: /admin/help/
Aggiungi una sitemap
Le direttive Sitemap usano un URL HTTP(S) assoluto.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
Blocca un modello di file
La wildcard * può corrispondere a una sequenza di caratteri all'interno di un modello di percorso.
User-agent: *
Disallow: /*.pdf$
Blocca solo Googlebot
Un gruppo specifico per Googlebot viene valutato separatamente dal gruppo wildcard.
User-agent: Googlebot
Disallow: /private-for-google/
Consenti Googlebot e blocca il gruppo wildcard
Per Googlebot, un gruppo specifico ha priorità rispetto al gruppo wildcard di fallback.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Blocca GPTBot e consenti OAI-SearchBot
OpenAI documenta GPTBot e OAI-SearchBot come controlli separati. Verifica la documentazione aggiornata del provider prima di pubblicare regole specifiche per crawler.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Tipo di sito
Parti da un percorso suggerito o aggiungi il tuo. Blocca solo i percorsi che vuoi intenzionalmente far evitare ai crawler compatibili.
WordPress
Parte con /wp-admin/ bloccato, mantenendo admin-ajax.php accessibile alla scansione.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml
E-commerce
Parte aperto, con percorsi comuni di carrello, checkout, account e ricerca disponibili come scelte rapide.
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Staging / blocca tutto
Blocca l'intero sito per i crawler compatibili. Usa anche l'autenticazione quando l'ambiente deve rimanere privato.
User-agent: *
Disallow: /
La modalità staging blocca intenzionalmente l'intero sito. Usa l'autenticazione se l'ambiente deve restare privato.
Crea il tuo file
Usa il generatore quando devi combinare più percorsi, aggiungere più sitemap o creare gruppi specifici per crawler.
Apri il Generatore di robots.txtTesta prima di pubblicare
Regole sovrapposte e gruppi User-agent specifici possono cambiare il risultato. Testa URL rappresentativi invece di presumere che un esempio si comporti allo stesso modo su ogni sito.
Apri il Tester robots.txt →