guias
Robots.txt para rastreadores de IA: busca, treinamento e acesso
Como permitir descoberta em busca com IA sem liberar todos os crawlers de treinamento?
Ler guia →Base de conhecimento
Guias de robots.txt
Guias práticos sobre rastreamento, indexação, escopo por host, sitemaps, parâmetros de URL, cache e solução de problemas com robots.txt.
Guias de Guias de robots.txt
guias
Robots.txt vs noindex: diferença entre rastreamento e indexação
robots.txt impede indexação? Quando usar noindex no lugar de Disallow?
Ler guia →
guias
Crawl-delay no robots.txt: suporte do Google e alternativas
Crawl-delay funciona no Googlebot e como reduzir carga excessiva de rastreamento?
Ler guia →
guias
Curingas no robots.txt e prioridade de regras: *, $ e correspondência mais longa
Qual regra vence quando Allow e Disallow combinam com a mesma URL?
Ler guia →
guias
Status HTTP do robots.txt: 200, 404, 403, 429 e 5xx
O que o Googlebot faz quando robots.txt retorna 404, 403, 429 ou 500?
Ler guia →
guias
Sitemap no robots.txt: como nós adiciono e verifico
Onde nós adiciono Sitemap no robots.txt e como verifico várias referências?
Ler guia →
guias
Robots.txt em subdomínios: como nós confiro o escopo
O robots.txt do domínio principal se aplica a subdomínios, HTTP, HTTPS ou outra porta?
Ler guia →
guias
Parâmetros de URL no robots.txt: como nós testo filtros e facetas
Como nós controlo URLs com parâmetros e facetas sem bloquear páginas úteis?
Ler guia →
guias
Tamanho e codificação do robots.txt: como nós reviso arquivos grandes
O que acontece se robots.txt passar de 500 KiB ou não estiver em UTF-8?
Ler guia →
guias
Robots.txt vs meta robots: como nós escolho o controle certo
Devo usar robots.txt, meta robots, X-Robots-Tag, canonical ou autenticação?
Ler guia →
guias
Cache do robots.txt: como nós confirmo que a alteração entrou no ar
Quanto tempo robots.txt pode ficar em cache e como nós separo cache do crawler de falha de deploy?
Ler guia →
guias
Robots.txt em staging: como nós mantenho o ambiente de testes fora da busca
Como manter staging fora da busca sem tratar robots.txt como segurança?
Ler guia →