Webflowのrobots.txt：ルール・sitemap・AIシグナルの確認手順

Webflowではrobots.txtを公開フローの一部として扱います。設定場所はSite settings → SEO → Indexingです。

先に本番を確認します

/robots.txtを開き、広すぎるDisallow、誤ったdomain、重複Sitemap:を確認します。

自動sitemapを考慮します

Webflowがsitemap参照を追加しているか確認してからcustom lineを追加します。reverse proxy構成ではdocumented optionも確認します。

保存だけでなく公開します

変更、保存、公開を行い、再度レスポンスを取得します。古い場合はcacheやroutingを調査します。

Content-Signalを別レイヤーにします

Content-SignalはAIによるcontent usageの選好で、robots.txtのcrawler accessとは別の仕組みです。

release前にチェックします

testerとvalidatorで確認し、private previewには認証を使います。