La respuesta HTTP de /robots.txt forma parte de la política de rastreo. Un archivo con reglas perfectas puede comportarse de forma muy distinta si devuelve un estado incorrecto, entra en un bucle de redirecciones o falla durante un despliegue.
Referencia rápida
| Respuesta | Tratamiento general de Google |
|---|---|
2xx | Procesa el contenido de robots.txt |
3xx | Sigue redirecciones hasta un límite |
La mayoría de 4xx, salvo 429 | Actúa como si no hubiera restricciones válidas |
429 | Señal de sobrecarga o limitación temporal |
5xx | Reduce o detiene temporalmente el rastreo y reintenta |
| Errores DNS/red | Se parecen al tratamiento de errores de servidor |
200: el caso normal
HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
seguido de un archivo válido. Google espera UTF-8 y limita el contenido procesado a 500 KiB, por lo que un 200 no garantiza que un archivo gigantesco se procese completo.
404: normalmente significa “sin restricciones”
Un robots.txt que devuelve 404 no bloquea el rastreo. Google trata los 4xx normales, salvo 429, como ausencia de un archivo válido y asume que no hay restricciones.
No uses un 404 para proteger staging o rutas privadas. Si no deben ser públicas, aplica autenticación.
403 y 401 no son un “Disallow”
Es frecuente que un WAF o un middleware proteja por error /robots.txt:
HTTP/1.1 403 Forbidden
Google no interpreta esto como una prohibición equivalente a tus reglas. Puede acabar rastreando sin las restricciones que estaban en el archivo que no pudo leer.
429 es diferente
429 Too Many Requests comunica sobrecarga o rate limiting y se trata de manera distinta a un 404. Puede provocar reducción de rastreo. No lo uses como técnica habitual de configuración de robots.txt: es una respuesta operativa para situaciones reales de carga.
Los 5xx pueden frenar temporalmente el rastreo
Si robots.txt devuelve 500, 502 o 503, Google reintenta y puede reducir el rastreo. También puede seguir teniendo en cuenta una versión válida anterior durante cierto tiempo.
Investiga rápido errores causados por middleware, funciones edge, upstreams caídos o una migración que haya convertido un archivo estático en una ruta dinámica defectuosa.
Las redirecciones deben terminar correctamente
Problemas frecuentes:
- bucles HTTP/HTTPS;
- www y dominio raíz redirigiéndose entre sí;
- middleware de idiomas enviando
/robots.txta una ruta localizada; - autenticación redirigiendo a login;
- CDN devolviendo HTML en lugar de texto.
La configuración más sencilla suele ser una respuesta directa 200 desde el root del origen.
Comprueba la respuesta real
Revisa:
- URL final;
- estado HTTP;
Content-Type;- tamaño y codificación;
- cabeceras de caché;
- comportamiento del WAF por User-agent;
- si el cuerpo es texto robots.txt o una página HTML de error.
Orden de diagnóstico
- Obtén el
/robots.txtde producción. - Registra URL final y estado.
- Revisa redirecciones, CDN y WAF.
- Confirma texto UTF-8 y tamaño razonable.
- Valida sintaxis.
- Prueba URLs representativas.
- Examina logs de intentos fallidos.
- Considera cachés de una política anterior.
- Monitoriza tras la corrección.
La entrega HTTP es parte de la corrección de robots.txt. El mismo texto servido con 200, 403, 404 o 5xx puede producir consecuencias de rastreo completamente diferentes.
