Auditoría del sitio en vivo
Comprobador de robots.txt
Introduce la URL de un sitio para obtener su archivo robots.txt desde la raíz y revisar la respuesta HTTP, el tamaño del archivo y los avisos de validación.
Obtiene /robots.txt desde la raíz del sitio, sigue de forma segura hasta cinco redirecciones, bloquea destinos privados/locales y deja de leer por encima de 500 KiB.
Introduce un sitio web público para comprobar si existe robots.txt, si los rastreadores de búsqueda pueden acceder a la raíz y qué necesita atención.
Comprobador frente a validador
El comprobador obtiene el archivo /robots.txt publicado por un sitio. El validador no hace ninguna petición de red: analiza directamente el texto que pegas.
¿Necesitas probar una URL concreta?
Usa el probador cuando quieras saber si una URL específica está permitida o bloqueada para un rastreador determinado.
Abrir el probador de robots.txt →Resultado rápido
Empieza aquí. Amplía Detalles técnicos solo cuando necesites información HTTP, redirecciones, grupos de rastreadores o validación.
Acceso de búsqueda a la raíz
El acceso a la raíz solo comprueba /. Usa el Probador para verificar URLs y rutas importantes de forma individual o masiva.
¿Qué debería corregir?
Prioridad basada en acceso de rastreadores y diagnósticos de validación.
Referencias técnicas
Las reglas y la orientación específica de cada rastreador se contrastan con estándares primarios y documentación de los proveedores, en lugar de copiarse de otras herramientas SEO.
- RFC 9309
Sintaxis del Protocolo de Exclusión de Robots, coincidencia, agrupación y comportamiento de codificación porcentual.
- Especificación de robots.txt de Google
Comportamiento específico de robots.txt en Google y campos compatibles.