No Webflow nós tratamos robots.txt como parte do publish. A configuração fica em Site settings → SEO → Indexing.
Abrimos produção primeiro
Conferimos /robots.txt, Disallow amplos, domínio e Sitemap: duplicado.
Respeitamos o sitemap automático
Antes de adicionar outra linha, verificamos se Webflow já incluiu o sitemap. Em reverse proxy/multi-site revisamos a opção documentada para trocar essa referência.
Save não é publish
Editamos, salvamos, fazemos publish e buscamos o arquivo novamente. Se continuar antigo, investigamos cache e domínio.
Content-Signal é separado
Content-Signal expressa preferência de uso por IA; robots.txt controla crawling. Não misturamos as duas camadas.
Testamos e protegemos previews
Usamos o tester e o validator. Preview privado usa autenticação.
