Strumento gratuito per il controllo dei crawler

Generatore di robots.txt

Crea un file robots.txt, rileva gli errori più comuni mentre lo modifichi, quindi copialo o scaricalo. Il generatore funziona nel browser e non richiede un account.

Scegli la modalità di modifica

La modalità semplice è più sicura per una configurazione rapida. L'editor avanzato mostra tutti i gruppi crawler e le regole.

Politica in base allo scopo del crawler

Parti da una configurazione neutra e applica restrizioni ai crawler IA solo quando corrispondono alla tua politica.

Impostazione neutra: lascia aperti crawler di ricerca, ricerca IA e controllo IA salvo blocchi espliciti nelle regole di percorso.

Percorsi da bloccare

Parti da un percorso suggerito o aggiungi il tuo. Blocca solo i percorsi che vuoi intenzionalmente far evitare ai crawler compatibili.

Percorsi suggeriti

Aggiungi percorso personalizzato

Aggiungi qualsiasi percorso del sito. I percorsi senza slash iniziale lo ricevono automaticamente; gli URL HTTP(S) completi vengono ridotti a percorso e query.

Ricerca

Consentito per impostazione predefinita

Ricerca IA

Consentito per impostazione predefinita

Controllo / training IA

Consentito per impostazione predefinita

Prima di pubblicare

  1. 1. Genera
    Controlla il risultato in tempo reale.
  2. 2. Valida
    Controlla sintassi e compatibilità.
  3. 3. Testa URL
    Verifica percorsi e crawler importanti.
  4. 4. Pubblica
    Caricalo come /robots.txt nella radice del sito.

robots.txt generato

Risultato in tempo reale; generazione e validazione restano nel browser.

User-agent: *
0 errori0 avvisi0 note

Nessun avviso di sintassi o compatibilità rilevato.

Genera in sicurezza

Crea direttive User-agent, Allow, Disallow e Sitemap senza formattare manualmente ogni riga.

Individua le regole rischiose

Ricevi avvisi su blocchi dell'intero sito, URL sitemap non validi, direttive non standard ed errori comuni sull'indicizzazione.

Testa prima di pubblicare

Passa dalla generazione alla validazione, al controllo online e al test degli URL senza lasciare il sito.

Come creare un file robots.txt

  1. 1

    Scegli una configurazione iniziale

    Inizia da una configurazione standard, WordPress, Blogger o staging, poi verifica ogni regola per il tuo sito.

  2. 2

    Aggiungi regole di scansione

    Inserisci un percorso Allow o Disallow per riga e specifica il gruppo User-agent principale a cui si applicano le regole.

  3. 3

    Aggiungi eccezioni specifiche per crawler

    I controlli avanzati permettono di creare gruppi separati per crawler che devono comportarsi diversamente dalle regole principali.

  4. 4

    Aggiungi la sitemap

    Usa un URL sitemap HTTP(S) assoluto, ad esempio https://example.com/sitemap.xml.

  5. 5

    Controlla gli avvisi di validazione

    Un file apparentemente valido può comunque contenere una regola pericolosa. Correggi gli errori e controlla gli avvisi prima della pubblicazione.

  6. 6

    Pubblica nella radice del sito

    La posizione standard è /robots.txt, ad esempio https://example.com/robots.txt.

robots.txt non rende privata una pagina

robots.txt controlla l'accesso dei crawler. Non è un sistema di autenticazione e bloccare la scansione di un URL non garantisce che l'URL non possa apparire nei risultati di ricerca.

Controllare la scansionerobots.txt
Richiedere la non indicizzazionenoindex
Proteggere contenuti privatiautenticazione / autorizzazione
Scopri come funziona robots.txt →

Crawler di ricerca e controlli crawler legati all'IA non sono la stessa cosa

La sezione avanzata mantiene separati i diversi token crawler. Un provider può documentare un crawler per la scoperta in ricerca e un altro token per lo sviluppo di modelli o i controlli di prodotti IA. Usa una regola specifica solo quando vuoi intenzionalmente un comportamento diverso dal gruppo User-agent principale.

Scansione per la ricerca

Crawler di ricerca tradizionali come Googlebot e Bingbot scoprono e scansionano contenuti per i prodotti di ricerca.

Scoperta tramite ricerca con IA

Esempi includono OAI-SearchBot, Claude-SearchBot e PerplexityBot. Controlla la documentazione del provider prima di modificarne l'accesso.

Controlli dei prodotti IA

Token come GPTBot, ClaudeBot e Google-Extended hanno scopi specifici del provider e non vanno trattati come equivalenti.

Configurazioni robots.txt per piattaforme comuni

Le configurazioni di piattaforma sono punti di partenza modificabili, non best practice universali. Controlla i percorsi realmente usati dal tuo sito prima di pubblicarle.

robots.txt per WordPress

Genera un punto di partenza per WordPress e controlla wp-admin, admin-ajax, sitemap e regole di scansione.

Apri lo strumento →

Generatore robots.txt per Blogger

Crea un file per Blogger e controlla ricerca, etichette e sitemap prima di attivare regole personalizzate.

Apri lo strumento →

Strumenti robots.txt correlati

Usa una pagina dedicata quando l'attività passa dalla creazione alla validazione, al controllo o al test del file.

Validatore

Incolla le regole e trova errori di sintassi o avvisi di compatibilità.

Apri lo strumento →

Controllo online

Recupera il robots.txt pubblicato di un sito e controlla risposta HTTP e comportamento delle regole.

Apri lo strumento →

Tester

Verifica se un URL è consentito o bloccato per un crawler.

Apri lo strumento →

Base di conoscenza

Guide robots.txt

Guide pratiche su scansione, indicizzazione, ambito per host, sitemap, parametri URL, cache e risoluzione dei problemi robots.txt.

Esempi

Consulta esempi pratici per consentire crawler, bloccare percorsi, aggiungere sitemap, usare wildcard e regole specifiche.

→

Guide robots.txt

Guide su crawler IA, noindex, sitemap, sottodomini, parametri URL, cache, codifica e regole robots.txt.

→

Guide robots.txt per piattaforma

Configurazione e verifica di robots.txt su Shopify, Next.js, Wix, Squarespace, Webflow e Magento / Adobe Commerce.

→

Guide correlate

Riferimenti tecnici

Regole e indicazioni specifiche dei crawler vengono controllate rispetto a standard primari e documentazione dei provider, non copiate da altri strumenti SEO.

Ultima verifica 2026-09-10

Domande frequenti

Dove deve trovarsi robots.txt?

Nella radice dell'host che controlla, normalmente in /robots.txt.

robots.txt può rimuovere un URL da Google?

Controlla principalmente la scansione. Se vuoi impedire l'indicizzazione, usa il controllo di indicizzazione appropriato invece di affidarti solo a Disallow.

Google supporta Crawl-delay?

Googlebot non supporta la direttiva Crawl-delay, quindi il validatore mostra un avviso quando la trova.

Devo bloccare tutti i crawler legati all'IA?

Non automaticamente. Token diversi possono servire ricerca, recupero richiesto dall'utente, sviluppo di modelli o altri scopi specifici del provider. Decidi crawler per crawler e verifica la documentazione aggiornata.

Questo generatore è gratuito?

Sì. La generazione e la validazione principali avvengono nel browser e non richiedono un account.