Squarespace gestiona gran parte de robots.txt, así que no aplicamos un tutorial pensado para acceso libre al servidor.
Reconocemos exclusiones esperadas
La plataforma puede excluir rutas como /search. Antes de llamar error a un Disallow, comprobamos si es comportamiento gestionado.
Crawlers controla visibilidad amplia
Usamos los ajustes Crawlers cuando la decisión afecta al sitio completo y comprobamos después la respuesta pública.
Noindex sirve para páginas concretas
Para una URL pública individual usamos el control de noindex/indexación correspondiente. Para contenido privado usamos password o acceso restringido.
El sitemap es automático
Abrimos el sitemap generado y comprobamos que refleja las URLs canónicas previstas; no intentamos mantenerlo como un XML manual.
Verificamos la salida
Revisamos /robots.txt, /sitemap.xml, el checker y el tester. En Squarespace trabajamos con los límites de la plataforma en lugar de fingir que existe un archivo raw editable sin restricciones.
Search crawlers y AI crawlers son controles distintos
Squarespace separa actualmente la visibilidad para crawlers de búsqueda y el bloqueo de crawlers de IA conocidos. Para una página pública individual seguimos prefiriendo el control noindex; para todo el sitio usamos los ajustes de Crawlers; para contenido privado, contraseña o control de acceso.
El ajuste de IA es una solicitud gestionada por la plataforma, no una garantía frente a todos los bots actuales o futuros. Revisamos periódicamente la lista y comprobamos el robots.txt real.
No tratamos exclusiones gestionadas como errores automáticos
Rutas como /search y ciertos parámetros pueden estar excluidos por diseño de Squarespace. Antes de “corregir” un aviso, comparamos la línea con la documentación oficial. También recordamos que no podemos tratar el archivo generado como un fichero de servidor editable: si una regla es inesperada, buscamos el ajuste de Crawlers, la visibilidad de página, la colección o el control soportado que la genera.
