Guías de robots.txt

Caché de robots.txt: cómo comprobamos que un cambio está activo

Nuestro proceso para separar caché del crawler, CDN, deploy, host y errores HTTP cuando robots.txt parece no actualizarse.

Por Robots.txt Tools Editorial TeamÚltima verificación 2026-09-131 min de lectura

Método editorial: esta guía documenta el proceso de revisión del equipo editorial de Robots.txt Tools. El lenguaje procedimental en primera persona describe ese método; no afirma trabajos para clientes ni casos personales.

Caché de robots.txt: cómo comprobamos que un cambio está activo

Cuando una modificación parece ignorada, separamos repositorio, respuesta pública y caché del crawler.

Miramos producción primero

Abrimos el origen exacto y comprobamos status HTTP, URL final y cuerpo. Un deploy incompleto o una CDN antigua no es un problema de caché de Google.

Contamos con caché normal

Google documenta que robots.txt suele almacenarse en caché durante aproximadamente 24 horas, aunque el comportamiento puede variar. No republicamos el archivo cada pocos minutos.

Revisamos cada host

www, apex y subdominios pueden tener políticas y cachés distintas. Comprobamos el host que realmente recibe el crawler.

Seguimos la cadena de entrega

Revisamos build, CDN, reverse proxy y generación dinámica. Si aparece un 5xx o 429, cambiamos el diagnóstico antes de tocar reglas.

Verificamos con herramientas

Usamos el checker para la respuesta viva y el tester para URLs concretas. Search Console y logs ayudan a distinguir entrega actual de estado todavía cacheado.

Solo cambiamos reglas de nuevo cuando la versión pública es incorrecta; una demora de caché por sí sola no justifica otra edición.

Guías relacionadas