Verifica del sito online
Controllo robots.txt online
Inserisci l'URL di un sito per recuperare il file robots.txt dalla radice e controllare risposta HTTP, dimensione del file e avvisi di validazione.
Recupera /robots.txt dalla radice del sito, segue in sicurezza fino a cinque reindirizzamenti, blocca destinazioni private/locali e interrompe la lettura oltre 500 KiB.
Inserisci un sito pubblico per controllare se robots.txt esiste, se i crawler di ricerca possono accedere alla radice e cosa richiede attenzione.
Controllo online o validatore?
Il controllo online recupera il file /robots.txt realmente pubblicato dal sito. Il validatore non effettua richieste di rete: analizza direttamente il testo incollato.
Devi testare un URL specifico?
Usa il Tester quando vuoi sapere se un URL specifico è consentito o bloccato per un determinato crawler.
Apri il Tester robots.txt →Risultato rapido
Inizia qui. Apri Dettagli tecnici solo quando servono informazioni HTTP, reindirizzamenti, gruppi crawler o validazione.
Accesso della ricerca alla radice
L'accesso root controlla solo /. Usa il Tester per verificare URL e percorsi importanti singolarmente o in blocco.
Cosa devo correggere?
Priorità basata su accesso crawler e diagnosi di validazione.
Riferimenti tecnici
Regole e indicazioni specifiche dei crawler vengono controllate rispetto a standard primari e documentazione dei provider, non copiate da altri strumenti SEO.
- RFC 9309
Sintassi, corrispondenza, raggruppamento e codifica percentuale del Robots Exclusion Protocol.
- Specifica robots.txt di Google
Comportamento robots.txt specifico di Google e campi supportati.