Permitir todos os rastreadores
Um valor Disallow vazio não bloqueia nenhum caminho. Você não precisa de um arquivo robots.txt se o site não tiver restrições de rastreamento.
User-agent: *
Disallow:
Padrões prontos para copiar
Exemplos de robots.txt
Padrões comuns de robots.txt para Allow, Disallow, Sitemap, curingas e regras específicas por rastreador. Use como ponto de partida e verifique o resultado no seu próprio site antes de publicar.
Bloquear todos os rastreadores
Bloqueia o site inteiro para rastreadores compatíveis. Use com cuidado e não trate isso como controle de acesso.
User-agent: *
Disallow: /
Bloquear um diretório
Bloqueia URLs cujo caminho começa com /private/.
User-agent: *
Disallow: /private/
Permitir um caminho dentro de um diretório bloqueado
Uma regra Allow mais específica pode liberar um caminho dentro de uma área bloqueada de forma mais ampla.
User-agent: *
Disallow: /admin/
Allow: /admin/help/
Adicionar um sitemap
Diretivas Sitemap usam uma URL HTTP(S) absoluta.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
Bloquear um padrão de arquivo
O curinga * pode corresponder a uma sequência de caracteres dentro de um padrão de caminho.
User-agent: *
Disallow: /*.pdf$
Bloquear apenas o Googlebot
Um grupo específico do Googlebot é avaliado separadamente do grupo curinga.
User-agent: Googlebot
Disallow: /private-for-google/
Permitir Googlebot e bloquear o grupo curinga
Para o Googlebot, um grupo específico tem prioridade sobre o grupo curinga de fallback.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Bloquear GPTBot e permitir OAI-SearchBot
A OpenAI documenta GPTBot e OAI-SearchBot como controles separados. Consulte a documentação atual do provedor antes de publicar regras específicas por rastreador.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Tipo de site
Comece com um caminho sugerido ou adicione o seu. Bloqueie apenas caminhos que você realmente quer que rastreadores compatíveis evitem.
WordPress
Começa com /wp-admin/ bloqueado e mantém admin-ajax.php rastreável.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml
E-commerce
Começa aberto, com caminhos comuns de carrinho, checkout, conta e pesquisa disponíveis como opções rápidas.
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Homologação / bloquear tudo
Bloqueia rastreadores compatíveis no site inteiro. Use autenticação também quando o ambiente precisar permanecer privado.
User-agent: *
Disallow: /
O modo de homologação bloqueia intencionalmente o site inteiro. Use autenticação quando o ambiente precisar permanecer privado.
Crie seu próprio arquivo
Use o gerador quando precisar combinar vários caminhos, adicionar vários sitemaps ou criar grupos específicos por rastreador.
Abrir o Gerador de robots.txtTeste antes de publicar
Regras sobrepostas e grupos User-agent específicos podem mudar o resultado. Teste URLs representativas em vez de presumir que um exemplo funcionará da mesma forma em todos os sites.
Abrir o Testador de robots.txt →