Squarespace gerencia grande parte do arquivo, então nós usamos controles suportados em vez de imaginar acesso raw ao servidor.
Reconhecemos /search
A plataforma pode excluir /search; nem todo Disallow é erro.
Crawlers controla o site
Usamos Crawlers para decisões amplas de visibilidade e conferimos a saída publicada.
Noindex é por página
Uma URL pública individual usa o controle de noindex/indexação. Conteúdo privado usa password/acesso restrito.
Sitemap é automático
Abrimos o sitemap gerado e verificamos URLs canônicas em vez de tentar editar o XML manualmente.
Confirmamos o resultado
Revisamos /robots.txt, /sitemap.xml, o checker e o tester.
Busca e crawlers de IA são controles separados
O Squarespace hoje separa controles para crawlers de busca e para bots de IA conhecidos. Para uma página pública individual usamos noindex; para visibilidade geral usamos Crawlers; para conteúdo privado usamos senha ou controle de acesso. O bloqueio de IA é uma solicitação gerenciada pela plataforma, não garantia contra todo bot presente ou futuro.
Exclusões da plataforma não são erros automáticos
Caminhos como /search e alguns padrões de parâmetros podem ser excluídos por design. Antes de tentar “corrigir” um alerta, comparamos a regra com a documentação atual. Como o arquivo é gerado pelo Squarespace, rastreamos regras inesperadas até Crawlers, visibilidade da página, coleção ou outro controle suportado, em vez de procurar um arquivo físico para substituir.
Coleções merecem uma revisão separada
Em páginas de coleção, uma decisão de indexação pode alcançar itens associados, então não alteramos visibilidade em massa sem listar quais páginas devem permanecer pesquisáveis. Também abrimos o sitemap automático para confirmar que o conjunto de URLs públicas continua coerente com a decisão de Crawlers e com os controles de página. Se uma URL inesperada aparece, investigamos a configuração que a gera antes de tentar compensar com outra regra.
