Guide robots.txt

Crawl-delay in robots.txt: Googlebot lo supporta?

Cos’è Crawl-delay, perché Googlebot non lo supporta in robots.txt e come diagnosticare in modo sicuro un carico di scansione eccessivo.

Di Robots.txt Tools Editorial TeamUltima verifica 2026-09-133 min di lettura
Crawl-delay in robots.txt: Googlebot lo supporta?

Crawl-delay compare in molti esempi robots.txt, ma il supporto non è universale. Per Google il punto è chiaro: Googlebot non supporta Crawl-delay in robots.txt. Indicare un numero di secondi non obbliga quindi Googlebot ad aspettare quell’intervallo.

Altri crawler possono implementarlo come estensione. Controlla la documentazione dell’operatore specifico invece di considerarlo uno standard comune.

Esempio tipico

User-agent: ExampleBot
Crawl-delay: 10

L’intento è spesso richiedere circa dieci secondi tra le richieste. RFC 9309 standardizza però il nucleo del protocollo, soprattutto gruppi User-agent e matching Allow/Disallow, non tutti i campi storici.

Perché può dare falsa sicurezza

Se il crawler ignora la directive, il carico non cambia. La causa reale può essere:

  • filtri e faccette che generano molti URL;
  • calendari, ricerca o parametri quasi infiniti;
  • risposte 5xx che provocano retry;
  • bot che non rispettano robots.txt;
  • un altro User-agent responsabile del traffico;
  • applicazione lenta che rende pesante un volume normale.

Parti dai log: User-agent, frequenza, percorsi e status HTTP.

Non usare 401/403 per rallentare Googlebot

Google tratta la maggior parte dei 4xx su /robots.txt, escluso 429, come assenza di un robots.txt valido. Potresti quindi perdere proprio le restrizioni che volevi comunicare.

HTTP/1.1 403 Forbidden

non è un controllo corretto del crawl rate.

429 e 5xx sono segnali diversi

429 Too Many Requests e gli errori server indicano sovraccarico o indisponibilità e possono ridurre temporaneamente la scansione. Non sostituiscono una buona architettura.

Correggi esplosioni di URL, blocca solo percorsi davvero inutili, migliora cache/capacità e usa controlli documentati dal provider quando disponibili.

Per percorsi inutili usa Disallow con precisione

User-agent: *
Disallow: /ricerca-interna/
Disallow: /cart/
Disallow: /session/

Sitemap: https://example.com/sitemap.xml

Riduce richieste a quelle aree invece di rallentare tutto il traffico. Disallow non sostituisce noindex.

Siti grandi: conta l’efficienza della scansione

In e-commerce, marketplace e publisher, verifica che i crawler raggiungano pagine canoniche importanti senza sprecare attività su filtri, ordinamenti, sessioni, preview o paginazioni di poco valore.

Diagnosi consigliata

  • identifica il crawler nei log;
  • verifica il supporto ufficiale a Crawl-delay;
  • misura volume e percorsi più richiesti;
  • cerca esplosioni di URL;
  • controlla stato, dimensione ed encoding di /robots.txt;
  • assicurati che pagine e risorse importanti siano accessibili;
  • analizza 429 e 5xx;
  • testa modifiche su URL reali;
  • monitora i log dopo il deploy.

Per Googlebot: non affidarti a Crawl-delay; usa meccanismi realmente supportati e correggi le cause strutturali del carico.

Guide correlate