Fontes primárias primeiro
O comportamento do protocolo é conferido com o RFC 9309. O comportamento específico dos mecanismos de pesquisa é conferido com a documentação oficial do respectivo provedor. Modelos de rastreadores para serviços como OpenAI, Anthropic, Perplexity e Google não são inferidos de listas de ferramentas de SEO de terceiros quando existe uma fonte primária.
Regras do protocolo e comportamento do provedor ficam separados
O Robots Exclusion Protocol define o comportamento geral de análise e correspondência, enquanto provedores individuais podem documentar comportamentos adicionais ou diretivas não compatíveis. Por isso, o validador evita apresentar todo aviso de compatibilidade como erro de sintaxe do RFC.
Exemplos são pontos de partida, não receitas universais
Modelos de WordPress, Blogger, homologação e outros casos são exemplos editáveis. Um caminho seguro para bloquear em um site pode ser importante em outro, por isso os modelos incluem avisos de revisão em vez de serem descritos como configurações universalmente “melhores”.
Mudanças relevantes nos rastreadores são verificadas novamente
Políticas de pesquisa com IA e rastreadores podem mudar. Quando um provedor altera nome, finalidade, comportamento em robots.txt ou documentação, o modelo e o texto explicativo afetados devem ser revisados com a nova fonte primária antes da publicação.
Correções
Bugs reproduzíveis do analisador, descrições desatualizadas de rastreadores e correções de fontes devem ser tratados como defeitos do produto e corrigidos no mecanismo de regras compartilhado ou nos metadados das fontes, em vez de remendados apenas no texto de uma página.