Test delle regole con spiegazione
Tester robots.txt
Incolla un file robots.txt, scegli un crawler e testa un URL. Il risultato spiega quale gruppo User-agent corrisponde e quale regola Allow o Disallow più specifica determina l'esito.
Regole robots.txt
Incolla regole, carica un file pubblico o invia le regole direttamente dal Generatore.
Risultato del test
Le decisioni usano lo stesso motore di corrispondenza del Controllo online e delle diagnosi del Generatore.
Bloccato
https://example.com/admin/login
La regola Disallow alla riga 2 è la regola corrispondente più specifica.
Traccia della decisione
- Gruppo crawler
- * (fallback wildcard)
- Regola vincente
- Disallow: /admin/
- Riga sorgente
- 2
- Specificità della regola
- 7 byte normalizzati
Confronto crawler
Confronta il primo URL testato tra token di ricerca, ricerca IA e controllo IA: https://example.com/admin/login
Googlebot
Ricerca
Disallow: /admin/
Bingbot
Ricerca
Disallow: /admin/
OAI-SearchBot
Ricerca IA
Disallow: /admin/
GPTBot
Controllo / training IA
Disallow: /admin/
Claude-SearchBot
Ricerca IA
Disallow: /admin/
ClaudeBot
Controllo / training IA
Disallow: /admin/
PerplexityBot
Ricerca IA
Disallow: /admin/
Google-Extended
Controllo / training IA
Disallow: /admin/
Perché conta la regola vincente
La corrispondenza robots.txt non segue semplicemente la logica “vince la prima regola”. Il crawler seleziona il gruppo User-agent applicabile e poi valuta i modelli Allow e Disallow corrispondenti. Il Tester mostra la regola utilizzata per la decisione invece di restituire solo sì/no.
Valida l'intero file →Traccia della decisione
Le decisioni usano lo stesso motore di corrispondenza del Controllo online e delle diagnosi del Generatore.
Confronto crawler
Le regole interpretabili vengono comunque valutate quando sono presenti solo avvisi.
URL multipli
Fino a 100 righe uniche e non vuote per esecuzione.
Riferimenti tecnici
Regole e indicazioni specifiche dei crawler vengono controllate rispetto a standard primari e documentazione dei provider, non copiate da altri strumenti SEO.
- RFC 9309
Sintassi, corrispondenza, raggruppamento e codifica percentuale del Robots Exclusion Protocol.
- Specifica robots.txt di Google
Comportamento robots.txt specifico di Google e campi supportati.