Control de rastreo en WordPress
Generador de robots.txt para WordPress
Empieza con un ajuste conservador orientado a WordPress y después personaliza rutas, grupos de rastreadores y el sitemap del sitio que realmente gestionas. El objetivo no es copiar un supuesto “mejor robots.txt” universal, sino crear reglas que puedas explicar y probar.
Elige el modo de edición
El modo simple es más seguro para una configuración rápida. El editor avanzado muestra todos los grupos y reglas de rastreadores.
Política según el propósito del rastreador
Empieza con una configuración neutral y aplica restricciones a rastreadores de IA solo cuando coincidan con tu política.
Valor neutral: mantén abiertos los rastreadores de búsqueda, búsqueda con IA y control de IA salvo que tus reglas de ruta los bloqueen explícitamente.
Rutas que bloquear
Empieza con una ruta sugerida o añade la tuya. Bloquea solo rutas que quieras que los rastreadores compatibles eviten intencionadamente.
Rutas sugeridas
Añadir ruta personalizada
Añade cualquier ruta del sitio. Las rutas sin barra inicial la reciben automáticamente; las URLs HTTP(S) completas se reducen a su ruta y consulta.
Búsqueda
Permitido de forma predeterminada
Búsqueda con IA
Permitido de forma predeterminada
Control / entrenamiento de IA
Permitido de forma predeterminada
Antes de publicar
- 1. Generar
Revisa el resultado en tiempo real. - 2. Validar
Comprueba la sintaxis y la compatibilidad. - 3. Probar URLs
Verifica rutas y rastreadores importantes. - 4. Publicar
Súbelo como /robots.txt en la raíz de tu sitio.
robots.txt generado
Resultado en tiempo real; la generación y la validación permanecen en tu navegador.
User-agent: *Allow: /wp-admin/admin-ajax.phpDisallow: /wp-admin/ No se detectaron advertencias de sintaxis o compatibilidad.
Qué hace el ajuste de WordPress
El propio núcleo de WordPress puede generar robots.txt de forma dinámica. Su respuesta incluye una regla Disallow para el directorio de administración y una regla Allow para el punto de acceso AJAX de administración. Este ajuste sigue ese patrón conservador como punto de partida y deja abierto el resto del sitio salvo que añadas más reglas.
Disallow /wp-admin/
Mantiene a los rastreadores compatibles fuera del directorio de administración de WordPress. Es una indicación para rastreadores, no una barrera de seguridad; el área de administración sigue necesitando autenticación y medidas de protección normales.
Allow /wp-admin/admin-ajax.php
Mantiene el acceso de rastreo a un punto de acceso de la interfaz pública que pueden utilizar temas y plugins. Una regla amplia para /wp-admin/ no debería ocultar por accidente un recurso que necesiten las páginas públicas.
Referencia principal de WordPress: Documentación del núcleo de WordPress sobre do_robots().
Decisiones de robots.txt en WordPress que conviene revisar
Los plugins, las funciones de comercio electrónico, la navegación facetada, la búsqueda interna y los tipos de contenido personalizados pueden crear URLs que no existen en una instalación básica de WordPress. Revisa esos patrones antes de añadir reglas Disallow amplias.
Búsqueda interna
Si bloqueas URLs de resultados de búsqueda de WordPress, confirma que la regla coincide solo con las rutas o parámetros que quieres controlar. Evita patrones amplios que también alcancen entradas o páginas de categoría normales.
WooCommerce y flujos de cuenta
Carrito, pago, cuenta, lista de deseos y URLs de catálogo filtrado pueden ser candidatas a control de rastreo, pero sus rutas exactas dependen de la configuración y los plugins. Prueba URLs representativas de productos y categorías antes de publicar.
URLs facetadas y con parámetros
Los filtros pueden crear muchas combinaciones de URLs rastreables. robots.txt puede reducir el rastreo de patrones concretos, pero no sustituye una estrategia deliberada de etiquetas canónicas e indexación.
Sitemaps XML
Usa la URL de sitemap que realmente sirve tu sitio en producción. El núcleo de WordPress o un plugin SEO pueden proporcionar el sitemap, así que comprueba la URL publicada en lugar de asumir que todos los sitios WordPress usan el mismo punto de acceso.
robots.txt virtual frente a físico en WordPress
WordPress puede servir robots.txt de forma dinámica cuando la petición llega a WordPress. Un robots.txt físico o servido a nivel de servidor puede cambiar lo que se devuelve realmente. Los plugins también pueden modificar la respuesta generada.
Para SEO, el archivo importante es el que reciben los rastreadores desde la URL de producción. Después de publicar un cambio, usa el Comprobador del archivo publicado en lugar de asumir que el editor de WordPress, la configuración de un plugin o un archivo en disco representan la respuesta final.
Antes de publicar un cambio de robots.txt en WordPress
- 1
Confirma las rutas de producción
Comprueba las URLs reales de administración, búsqueda, carrito, cuenta, filtros y sitemap.
- 2
Valida el archivo completo
Detecta grupos mal formados, directivas de sitemap incorrectas y bloqueos peligrosos de todo el sitio.
- 3
Prueba URLs representativas
Incluye la página de inicio, una entrada, una página, una categoría, un producto si corresponde y todas las rutas que quieras bloquear.
- 4
Comprueba la respuesta publicada
Después del despliegue, obtiene /robots.txt desde el host público y confirma que se están sirviendo las reglas esperadas.
Preguntas frecuentes sobre robots.txt en WordPress
¿Todos los sitios WordPress necesitan un robots.txt personalizado?
No. WordPress puede generar robots.txt de forma dinámica y solo conviene añadir un archivo personalizado cuando tienes una política de rastreo concreta que implementar y probar.
¿Debo bloquear wp-admin?
El núcleo de WordPress incluye una regla Disallow para el directorio de administración y permite el punto de acceso AJAX de administración. Es solo una indicación para rastreadores; no protege el área de administración.
¿Debo bloquear las páginas de búsqueda y filtros de WordPress?
A veces, pero no existe una regla universal. Decide según tus patrones de URL y objetivos de rastreo reales, y prueba páginas importantes para que un patrón amplio no bloquee contenido útil.
¿Puede robots.txt aplicar noindex a páginas de WordPress?
No. robots.txt controla principalmente el rastreo. Si quieres mantener una URL rastreable fuera de los resultados de búsqueda, usa un control de indexación adecuado en lugar de depender únicamente de Disallow.