Guide robots.txt

Codici HTTP di robots.txt: 200, 404, 403, 429 e 5xx

Come le risposte HTTP di robots.txt influenzano Googlebot: 2xx, redirect, 404, 403, 429, 5xx, cache ed errori di rete.

Di Robots.txt Tools Editorial TeamUltima verifica 2026-09-133 min di lettura
Codici HTTP di robots.txt: 200, 404, 403, 429 e 5xx

La risposta HTTP di /robots.txt fa parte della policy di scansione. Regole corrette possono produrre un comportamento diverso se l’endpoint restituisce lo status sbagliato, entra in un loop di redirect o fallisce durante il deploy.

Riferimento rapido

RispostaComportamento generale Google
2xxElabora il contenuto robots.txt
3xxSegue redirect fino a un limite
La maggior parte dei 4xx, tranne 429Agisce come se non ci fossero restrizioni valide
429Segnale di sovraccarico/rate limit
5xxRiduce o interrompe temporaneamente la scansione e riprova
Errori DNS/reteTrattamento simile a errori server

200: caso normale

HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8

Google si aspetta UTF-8 e processa robots.txt fino a 500 KiB. Un 200 quindi non garantisce che un file enorme sia letto completamente.

404: normalmente “nessuna restrizione”

Un robots.txt assente non blocca la scansione. Google tratta i normali 4xx — escluso 429 — come assenza di un file valido.

Non usare 404 per proteggere staging o dati privati: usa autenticazione.

403 e 401 non sono Disallow

Se WAF, CDN o middleware restituisce:

HTTP/1.1 403 Forbidden

Google non lo interpreta come le regole che intendevi applicare. Potresti perdere le restrizioni invece di rafforzarle.

429 è diverso

429 Too Many Requests indica sovraccarico o limitazione temporanea e può ridurre la scansione. Non è uno strumento ordinario di configurazione robots.txt.

5xx può rallentare temporaneamente la scansione

Con 500, 502 o 503, Google riprova e può ridurre il crawl. Una versione precedente valida di robots.txt può continuare a influenzare il comportamento per un periodo.

Controlla Edge Functions, upstream, rewrite e migrazioni che hanno trasformato un file statico in un endpoint dinamico in errore.

I redirect devono terminare correttamente

Problemi tipici:

  • loop HTTP/HTTPS;
  • www e dominio apex si redirigono a vicenda;
  • middleware lingua sposta /robots.txt su una route localizzata;
  • autenticazione invia al login;
  • CDN restituisce HTML con status 200.

Verifica la risposta reale

Controlla URL finale, stato HTTP, Content-Type, dimensione, encoding, cache, comportamento WAF per User-agent e che il body sia davvero testo robots.txt.

Ordine di diagnosi

  1. Recupera /robots.txt in produzione.
  2. Registra URL finale e status.
  3. Controlla redirect, CDN e WAF.
  4. Conferma UTF-8 e dimensione ragionevole.
  5. Valida la sintassi.
  6. Testa URL rappresentativi.
  7. Controlla i log degli errori.
  8. Considera cache di una policy precedente.
  9. Continua il monitoraggio dopo la correzione.

La consegna HTTP fa parte della correttezza di robots.txt. Lo stesso testo servito con 200, 403, 404 o 5xx può avere conseguenze molto diverse.

Guide correlate