Robots.txt vs meta robots: noindex, X-Robots-Tag e canonical

Robots.txt vs meta robots: como escolhemos o controle certo

Nosso modelo para robots.txt, noindex, X-Robots-Tag, canonical, redirects e autenticação sem misturar crawling, indexação e privacidade.

Por Robots.txt Tools Editorial TeamPublicado em 2026-09-13Última verificação em 2026-09-131 min de leitura

Método editorial: este guia documenta o processo de revisão da equipe editorial do Robots.txt Tools. A linguagem procedural em primeira pessoa descreve esse método; não representa alegação de trabalho para clientes ou casos pessoais.

Nós escolhemos a camada pelo problema. Robots.txt controla crawling; noindex controla indexação; canonical consolida duplicatas; redirects movem URLs; autenticação protege conteúdo.

Robots.txt é controle de crawl

Disallow não é pedido confiável de remoção do índice.

Meta robots precisa ser lido

<meta name="robots" content="noindex">

Se o crawler estiver bloqueado no robots.txt, pode não processar esse noindex.

X-Robots-Tag funciona no header

X-Robots-Tag: noindex

É útil para PDF e outros recursos não HTML, desde que a resposta possa ser acessada.

Canonical não protege conteúdo

Canonical consolida sinais; não substitui autenticação. Para informação privada usamos controle de acesso real.

Nossa decisão

Privado → autenticação. Público fora da busca → noindex/X-Robots-Tag. Duplicado → canonical ou redirect. Desperdício de crawl → avaliar robots.txt. Depois verificamos o arquivo com o checker.