En Webflow tratamos robots.txt como parte del flujo de publicación. Los controles están en Site settings → SEO → Indexing, pero solo la versión publicada cuenta.
Comprobamos producción primero
Abrimos /robots.txt y buscamos Disallow demasiado amplios, dominio incorrecto y líneas Sitemap: duplicadas.
Revisamos el sitemap automático
Webflow suele añadir la referencia al sitemap. Antes de escribir otra, comprobamos si ya existe. En reverse proxy o multi-site revisamos la opción documentada para sustituir esa referencia cuando la arquitectura lo exige.
Guardar no es publicar
Nuestro flujo es editar, guardar, publish, volver a solicitar /robots.txt y revisar cache si la respuesta sigue antigua.
Content-Signal es otra capa
Content-Signal expresa preferencias sobre uso de contenido por sistemas de IA. No lo tratamos como sustituto de robots.txt, que decide acceso de crawling.
Probamos reglas específicas
Usamos el tester y el validator antes del release. Para previews privados usamos autenticación, no robots.txt.
La comprobación final incluye Indexing, publish, sitemap, dominio canónico, Content-Signal y respuesta viva.
Content-Signal no es un estándar de robots.txt
Webflow documenta el header Content-Signal para preferencias como ai-train=no, search=yes o ai-input=no, pero también aclara que deriva de una extensión propuesta y no de un estándar aceptado. Separamos por tanto dos preguntas: robots.txt decide si un crawler puede acceder; Content-Signal expresa una preferencia de uso donde exista soporte.
Revisamos sitemap y publicación como superficies separadas
Webflow suele añadir automáticamente el sitemap a robots.txt. Antes de escribir otra línea comprobamos si ya existe y si usa el dominio canónico. En arquitecturas con reverse proxy o varios sitios confirmamos qué capa sirve realmente /robots.txt y /sitemap.xml.
Guardar no equivale a publicar. Nuestro control final se hace contra el dominio público después del publish, no contra la configuración del Designer ni contra el dominio de staging. En migraciones comprobamos ambos orígenes por separado.
