guias
Robots.txt para rastreadores de IA: búsqueda, entrenamiento y acceso
¿Cómo permitir la búsqueda con IA sin aceptar todos los rastreadores de entrenamiento?
Leer guía →Base de conocimientos
Guías de robots.txt
Guías prácticas sobre rastreo, indexación, alcance por host, sitemaps, parámetros de URL, caché y solución de problemas con robots.txt.
Guías de Guías de robots.txt
guias
Robots.txt vs noindex: rastreo e indexación sin confusiones
¿Puede robots.txt impedir que una página se indexe y cuándo conviene usar noindex?
Leer guía →
guias
Crawl-delay en robots.txt: compatibilidad con Google y alternativas
¿Funciona Crawl-delay con Googlebot y cómo se reduce una carga excesiva de rastreo?
Leer guía →
guias
Comodines en robots.txt y prioridad de reglas: *, $ y coincidencia más larga
¿Qué regla gana cuando varias reglas Allow y Disallow coinciden con la misma URL?
Leer guía →
guias
Códigos HTTP de robots.txt: 200, 404, 403, 429 y 5xx
¿Qué hace Googlebot cuando robots.txt devuelve 404, 403, 429 o 500?
Leer guía →
guias
Sitemap en robots.txt: cómo lo añado y lo verifico
¿Dónde añado Sitemap en robots.txt y cómo comprobamos varias referencias?
Leer guía →
guias
Robots.txt y subdominios: cómo comprobamos el alcance
¿El robots.txt del dominio principal se aplica a subdominios, HTTP, HTTPS o puertos distintos?
Leer guía →
guias
Parámetros de URL en robots.txt: cómo pruebo filtros y facetas
¿Cómo controlo URLs con parámetros y facetas sin bloquear páginas valiosas?
Leer guía →
guias
Tamaño y codificación de robots.txt: cómo reviso archivos grandes
¿Qué pasa si robots.txt supera 500 KiB o no está codificado como UTF-8?
Leer guía →
guias
Robots.txt vs meta robots: cómo elijo la capa correcta
¿Debo usar robots.txt, meta robots, X-Robots-Tag, canonical o autenticación?
Leer guía →
guias
Caché de robots.txt: cómo verificamos que un cambio ya está activo
¿Cuánto puede tardar en actualizarse robots.txt y cómo separo caché del crawler de un fallo de despliegue?
Leer guía →
guias
Robots.txt en staging: cómo mantengo un entorno de pruebas fuera de Google
¿Cómo mantengo un staging fuera de Google sin tratar robots.txt como seguridad?
Leer guía →