Herramienta gratuita de control de rastreadores

Generador de robots.txt

Crea un archivo robots.txt, detecta errores frecuentes mientras lo editas y después cópialo o descárgalo. El generador funciona en tu navegador y no requiere una cuenta.

Elige el modo de edición

El modo simple es más seguro para una configuración rápida. El editor avanzado muestra todos los grupos y reglas de rastreadores.

Política según el propósito del rastreador

Empieza con una configuración neutral y aplica restricciones a rastreadores de IA solo cuando coincidan con tu política.

Valor neutral: mantén abiertos los rastreadores de búsqueda, búsqueda con IA y control de IA salvo que tus reglas de ruta los bloqueen explícitamente.

Rutas que bloquear

Empieza con una ruta sugerida o añade la tuya. Bloquea solo rutas que quieras que los rastreadores compatibles eviten intencionadamente.

Rutas sugeridas

Añadir ruta personalizada

Añade cualquier ruta del sitio. Las rutas sin barra inicial la reciben automáticamente; las URLs HTTP(S) completas se reducen a su ruta y consulta.

Búsqueda

Permitido de forma predeterminada

Búsqueda con IA

Permitido de forma predeterminada

Control / entrenamiento de IA

Permitido de forma predeterminada

Antes de publicar

  1. 1. Generar
    Revisa el resultado en tiempo real.
  2. 2. Validar
    Comprueba la sintaxis y la compatibilidad.
  3. 3. Probar URLs
    Verifica rutas y rastreadores importantes.
  4. 4. Publicar
    Súbelo como /robots.txt en la raíz de tu sitio.

robots.txt generado

Resultado en tiempo real; la generación y la validación permanecen en tu navegador.

User-agent: *
0 errores0 advertencias0 notas

No se detectaron advertencias de sintaxis o compatibilidad.

Genera con seguridad

Crea directivas User-agent, Allow, Disallow y Sitemap sin tener que dar formato manual a cada línea.

Detecta reglas de riesgo

Recibe avisos sobre bloqueos de todo el sitio, URLs de sitemap no válidas, directivas no estándar y errores habituales sobre indexación.

Prueba antes de publicar

Pasa de la generación a la validación, la comprobación en vivo y las pruebas de URLs sin salir del sitio.

Cómo crear un archivo robots.txt

  1. 1

    Elige un ajuste inicial

    Empieza con un ajuste estándar, WordPress, Blogger o de preproducción y revisa después cada regla para tu propio sitio.

  2. 2

    Añade reglas de rastreo

    Introduce una ruta Allow o Disallow por línea e indica el grupo User-agent principal al que se aplican las reglas.

  3. 3

    Añade excepciones por rastreador

    Los controles avanzados permiten crear grupos separados para rastreadores que deban comportarse de forma distinta a las reglas principales.

  4. 4

    Añade tu sitemap

    Usa una URL absoluta HTTP(S) para el sitemap, por ejemplo https://example.com/sitemap.xml.

  5. 5

    Revisa los avisos de validación

    Un archivo que parece válido todavía puede contener una regla peligrosa. Corrige los errores y revisa los avisos antes de publicarlo.

  6. 6

    Publícalo en la raíz del sitio

    La ubicación estándar es /robots.txt, por ejemplo https://example.com/robots.txt.

robots.txt no convierte una página en privada

robots.txt controla el acceso de los rastreadores. No es un sistema de autenticación, y bloquear el rastreo de una URL no garantiza que esa URL no pueda aparecer en los resultados de búsqueda.

Controlar el rastreorobots.txt
Solicitar que no se indexenoindex
Proteger contenido privadoautenticación / autorización
Aprende cómo funciona robots.txt →

Los rastreadores de búsqueda y los controles de rastreadores relacionados con IA no son lo mismo

La sección avanzada mantiene separados los tokens de cada rastreador. Por ejemplo, un proveedor puede documentar un rastreador para descubrimiento en búsqueda y otro token para desarrollo de modelos o controles de productos de IA. Crea una regla específica solo cuando quieras que ese rastreador se comporte de forma distinta al grupo User-agent principal.

Rastreo para buscadores

Rastreadores tradicionales como Googlebot y Bingbot descubren y rastrean contenido para productos de búsqueda.

Descubrimiento mediante búsqueda con IA

Algunos ejemplos son OAI-SearchBot, Claude-SearchBot y PerplexityBot. Revisa la documentación del proveedor antes de cambiar su acceso.

Controles de productos de IA

Tokens como GPTBot, ClaudeBot y Google-Extended tienen funciones específicas de cada proveedor y no deben tratarse como si fueran equivalentes.

Ajustes de robots.txt para plataformas habituales

Los ajustes de plataforma son puntos de partida editables, no buenas prácticas universales. Revisa las rutas que utiliza realmente tu sitio antes de publicarlos.

robots.txt para WordPress

Genera un punto de partida orientado a WordPress y revisa wp-admin, admin-ajax, el sitemap y las reglas de rastreo.

Abrir herramienta →

Generador de robots.txt para Blogger

Crea un archivo orientado a Blogger y revisa el comportamiento de búsqueda, etiquetas y sitemap antes de activar reglas personalizadas.

Abrir herramienta →

Herramientas relacionadas de robots.txt

Usa una página específica cuando la tarea cambie de crear un archivo a validarlo, comprobarlo o probar sus reglas.

Validador

Pega las reglas y encuentra errores de sintaxis o avisos de compatibilidad.

Abrir herramienta →

Comprobador

Obtén el robots.txt público de un sitio e inspecciona su respuesta HTTP y el comportamiento de sus reglas.

Abrir herramienta →

Probador

Comprueba si una URL está permitida o bloqueada para un rastreador.

Abrir herramienta →

Base de conocimientos

Guías de robots.txt

Guías prácticas sobre rastreo, indexación, alcance por host, sitemaps, parámetros de URL, caché y solución de problemas con robots.txt.

Ejemplos

Consulta ejemplos prácticos para permitir rastreadores, bloquear rutas, añadir sitemaps, usar comodines y crear reglas específicas.

→

Guías de robots.txt

Guías sobre rastreadores de IA, noindex, sitemaps, subdominios, parámetros de URL, caché, codificación y reglas robots.txt.

→

Guías de robots.txt por plataforma

Configuración y verificación de robots.txt en Shopify, Next.js, Wix, Squarespace, Webflow y Magento / Adobe Commerce.

→

Guías relacionadas

Referencias técnicas

Las reglas y la orientación específica de cada rastreador se contrastan con estándares primarios y documentación de los proveedores, en lugar de copiarse de otras herramientas SEO.

Última verificación 2026-09-10

Preguntas frecuentes

¿Dónde debe estar ubicado robots.txt?

En la raíz del host que controla, normalmente en /robots.txt.

¿Puede robots.txt eliminar una URL de Google?

Su función principal es controlar el rastreo. Si quieres evitar la indexación, utiliza el control de indexación adecuado en lugar de depender únicamente de Disallow.

¿Google admite Crawl-delay?

Googlebot no admite la directiva Crawl-delay, por eso el validador muestra un aviso cuando aparece.

¿Debo bloquear todos los rastreadores relacionados con IA?

No de forma automática. Los distintos tokens pueden utilizarse para búsqueda, recuperación solicitada por el usuario, desarrollo de modelos u otros fines específicos del proveedor. Decide rastreador por rastreador y comprueba la documentación actual del proveedor.

¿Este generador es gratis?

Sí. La generación y la validación principales se realizan en el navegador y no requieren una cuenta.