Teste de regras com explicação
Testador de robots.txt
Cole um arquivo robots.txt, escolha um rastreador e teste uma URL. O resultado explica qual grupo User-agent corresponde e qual regra Allow ou Disallow mais específica venceu.
Regras de robots.txt
Cole regras, carregue um arquivo público ou envie regras diretamente do Gerador.
Resultado do teste
As decisões usam o mesmo mecanismo de correspondência do Verificador e dos diagnósticos do Gerador.
Bloqueado
https://example.com/admin/login
A regra Disallow da linha 2 é a regra correspondente mais específica.
Rastro da decisão
- Grupo do rastreador
- * (fallback curinga)
- Regra vencedora
- Disallow: /admin/
- Linha de origem
- 2
- Especificidade da regra
- 7 bytes normalizados
Comparação de rastreadores
Compare a primeira URL testada entre tokens de pesquisa, pesquisa com IA e controle de IA: https://example.com/admin/login
Googlebot
Pesquisa
Disallow: /admin/
Bingbot
Pesquisa
Disallow: /admin/
OAI-SearchBot
Pesquisa com IA
Disallow: /admin/
GPTBot
Controle / treinamento de IA
Disallow: /admin/
Claude-SearchBot
Pesquisa com IA
Disallow: /admin/
ClaudeBot
Controle / treinamento de IA
Disallow: /admin/
PerplexityBot
Pesquisa com IA
Disallow: /admin/
Google-Extended
Controle / treinamento de IA
Disallow: /admin/
Por que a regra vencedora importa
A correspondência de robots.txt não funciona simplesmente como “a primeira regra vence”. O rastreador escolhe o grupo User-agent aplicável e depois avalia os padrões Allow e Disallow correspondentes. O testador mostra a regra usada na decisão em vez de retornar apenas sim ou não.
Validar o arquivo completo →Rastro da decisão
As decisões usam o mesmo mecanismo de correspondência do Verificador e dos diagnósticos do Gerador.
Comparação de rastreadores
Regras interpretáveis ainda são avaliadas quando existem apenas avisos.
URLs em lote
Até 100 linhas únicas e não vazias por execução.
Referências técnicas
As regras e orientações específicas de rastreadores são conferidas com padrões primários e documentação dos provedores, em vez de copiadas de outras ferramentas de SEO.
- RFC 9309
Sintaxe, correspondência, agrupamento e comportamento de codificação percentual do Robots Exclusion Protocol.
- Especificação de robots.txt do Google
Comportamento específico do Google para robots.txt e campos aceitos.