Guide robots.txt

Cache di robots.txt: come verifichiamo che una modifica sia attiva

Il nostro flusso per distinguere cache del crawler, CDN, deployment, host ed errori HTTP quando robots.txt sembra vecchio.

Di Robots.txt Tools Editorial TeamUltima verifica 2026-09-131 min di lettura

Metodo editoriale: questa guida documenta il flusso di verifica usato dal Robots.txt Tools Editorial Team. La prima persona descrive il metodo operativo e non rivendica lavori per clienti o casi personali.

Cache di robots.txt: come verifichiamo che una modifica sia attiva

Quando una modifica sembra ignorata, noi separiamo repository, risposta pubblica e cache del crawler.

Controlliamo prima la production

Recuperiamo l’host corretto e annotiamo status, URL finale e body. Un vecchio oggetto CDN o un deployment fallito non è cache di Google.

Consideriamo il normale intervallo di cache

Google documenta che robots.txt viene in genere memorizzato per circa 24 ore, con possibili variazioni.

Verifichiamo ogni origin

Apex, www e sottodomini possono servire versioni diverse. Controlliamo anche build, CDN, reverse proxy e generazione dinamica.

Gli errori HTTP cambiano la diagnosi

Un 5xx o 429 è diverso da un 200 con contenuto vecchio.

Verifichiamo il file live

Il checker conferma la risposta corrente; il tester verifica URL specifiche. Search Console e log possono completare il quadro.

Guide correlate