guide
Robots.txt per crawler IA: ricerca, training e accesso
Come consentire la ricerca IA senza aprire tutti i crawler usati per il training?
Leggi la guida →Base di conoscenza
Guide robots.txt
Guide pratiche su scansione, indicizzazione, ambito per host, sitemap, parametri URL, cache e risoluzione dei problemi robots.txt.
Guide Guide robots.txt
guide
Robots.txt e noindex: differenza tra scansione e indicizzazione
robots.txt impedisce l’indicizzazione e quando bisogna usare noindex?
Leggi la guida →
guide
Crawl-delay in robots.txt: Googlebot lo supporta?
Crawl-delay funziona con Googlebot e come si riduce un carico di scansione eccessivo?
Leggi la guida →
guide
Wildcard robots.txt e priorità delle regole: *, $ e corrispondenza più lunga
Quale regola prevale quando più Allow e Disallow corrispondono allo stesso URL?
Leggi la guida →
guide
Codici HTTP di robots.txt: 200, 404, 403, 429 e 5xx
Come tratta Googlebot un robots.txt che risponde 404, 403, 429 o 500?
Leggi la guida →
guide
Sitemap in robots.txt: come la aggiungo e la verifico
Dove aggiungo Sitemap in robots.txt e come verifico più riferimenti?
Leggi la guida →
guide
Robots.txt e sottodomini: come verifico l’ambito di applicazione
Il robots.txt del dominio principale vale per sottodomini, HTTP, HTTPS o altre porte?
Leggi la guida →
guide
Parametri URL in robots.txt: come verifico filtri e faccette
Come controllo URL con parametri e faccette senza bloccare pagine importanti?
Leggi la guida →
guide
Dimensione e codifica di robots.txt: come controllo i file grandi
Cosa succede se robots.txt supera 500 KiB o non è in UTF-8?
Leggi la guida →
guide
Robots.txt vs meta robots: come scelgo il controllo giusto
Devo usare robots.txt, meta robots, X-Robots-Tag, canonical o autenticazione?
Leggi la guida →
guide
Cache di robots.txt: come verifico che una modifica sia attiva
Quanto resta robots.txt in cache e come distinguo cache del crawler da un errore di deploy?
Leggi la guida →
guide
Robots.txt in staging: come tengo l’ambiente di test fuori dalla ricerca
Come tengo lo staging fuori dalla ricerca senza usare robots.txt come sicurezza?
Leggi la guida →