Guias de robots.txt

Tamanho e encoding do robots.txt: como conferimos arquivos grandes

Nosso controle de 500 KiB, UTF-8, bytes, regras repetidas e resposta real antes de publicar robots.txt.

Por Robots.txt Tools Editorial TeamPublicado em 2026-09-13Última verificação em 2026-09-131 min de leitura

Método editorial: este guia documenta o processo de revisão da equipe editorial do Robots.txt Tools. A linguagem procedural em primeira pessoa descreve esse método; não representa alegação de trabalho para clientes ou casos pessoais.

Tamanho e encoding do robots.txt: como conferimos arquivos grandes

Nós medimos o arquivo entregue em produção. O Google documenta limite de 500 KiB; conteúdo depois desse tamanho pode ser ignorado.

Mantemos UTF-8 consistente

Evitamos encoding legado e bytes inválidos. Em caminhos não ASCII conferimos texto e escape de URL.

Reduzimos repetição

Arquivos enormes costumam trazer listas por URL, comentários gerados e grupos duplicados. Preferimos padrões claros sem transformar robots.txt em banco de exceções.