Permitir todos los rastreadores
Un valor Disallow vacío no bloquea ninguna ruta. No necesitas un archivo robots.txt si el sitio no tiene restricciones de rastreo.
User-agent: *
Disallow:
Patrones listos para copiar
Ejemplos de robots.txt
Patrones habituales de robots.txt para Allow, Disallow, Sitemap, comodines y reglas específicas por rastreador. Úsalos como punto de partida y verifica el resultado en tu propio sitio antes de publicar.
Bloquear todos los rastreadores
Bloquea todo el sitio para los rastreadores compatibles. Úsalo con cuidado y no lo trates como control de acceso.
User-agent: *
Disallow: /
Bloquear un directorio
Bloquea las URLs cuya ruta empieza por /private/.
User-agent: *
Disallow: /private/
Permitir una ruta dentro de un directorio bloqueado
Una regla Allow más específica puede permitir una ruta dentro de una zona bloqueada de forma más amplia.
User-agent: *
Disallow: /admin/
Allow: /admin/help/
Añadir un sitemap
Las directivas Sitemap usan una URL HTTP(S) absoluta.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
Bloquear un patrón de archivos
El comodín * puede coincidir con una secuencia de caracteres dentro de un patrón de ruta.
User-agent: *
Disallow: /*.pdf$
Bloquear solo Googlebot
Un grupo específico para Googlebot se evalúa por separado del grupo comodín.
User-agent: Googlebot
Disallow: /private-for-google/
Permitir Googlebot y bloquear el grupo comodín
Para Googlebot, un grupo específico tiene prioridad sobre el grupo comodín de respaldo.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Bloquear GPTBot y permitir OAI-SearchBot
OpenAI documenta GPTBot y OAI-SearchBot como controles separados. Revisa la documentación actual del proveedor antes de publicar reglas específicas por rastreador.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Tipo de sitio
Empieza con una ruta sugerida o añade la tuya. Bloquea solo rutas que quieras que los rastreadores compatibles eviten intencionadamente.
WordPress
Empieza bloqueando /wp-admin/ y mantiene rastreable admin-ajax.php.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml
Comercio electrónico
Empieza abierto, con rutas comunes de carrito, pago, cuenta y búsqueda disponibles como opciones rápidas.
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Preproducción / bloquear todo
Bloquea todo el sitio para rastreadores compatibles. Usa también autenticación cuando el entorno de preproducción deba permanecer privado.
User-agent: *
Disallow: /
El modo de preproducción bloquea intencionadamente todo el sitio. Usa autenticación cuando el entorno deba permanecer privado.
Crea tu propio archivo
Usa el generador cuando necesites combinar varias rutas, añadir varios sitemaps o crear grupos específicos para rastreadores.
Abrir el generador de robots.txtPrueba antes de publicar
Las reglas que se solapan y los grupos User-agent específicos pueden cambiar el resultado. Prueba URLs representativas en lugar de asumir que un ejemplo se comportará igual en todos los sitios.
Abrir el probador de robots.txt →