Validador Robots.txt

Valide seu arquivo robots.txt atual, verifique a página de restrição e acessibilidade para rastreadores.

Googlebot

Enter the URL in the format: https://example.com/

Robots.txt validation results

Validação do arquivo: Verificar a conformidade do robots.txt com os padrões e identificar possíveis erros.
Análise de indexação: acompanhe como os rastreadores de mecanismos de pesquisa estão indexando seu site e identifique áreas problemáticas.
Correções de erros: ajude a detectar e corrigir erros no arquivo robots.txt para otimizar a indexação.
Teste de instruções: simule como os robôs interagem com seu arquivo, verificando como as instruções funcionam.

Como validar o Robots.txt

Insira o URL do domínio ou coloque o conteúdo do Robots.txt na caixa de texto.
Pressione o botão “Validar robots.txt”.
O resultado aparecerá como uma lista imediatamente após a conclusão da validação.

PERGUNTAS FREQUENTES

O que é a validação do robots.txt?

O Robots.txt Checker mostra se o robots.txt bloqueia os rastreadores do Google de determinados URLs em seu site. Por exemplo, você pode usar essa ferramenta para verificar se o rastreador do Googlebot pode rastrear a URL do conteúdo que você deseja bloquear na Pesquisa Google.

O que acontece se você não usar um arquivo robots.txt?

Se você não tiver um arquivo robots.txt no diretório raiz do seu site, os rastreadores de mecanismos de pesquisa não conseguirão encontrá-lo. Como resultado, eles presumirão que têm permissão para rastrear todo o site.

Qual é o limite de um arquivo txt de robô?

O Google impõe um limite de tamanho de arquivo robots.txt de 500 KB (KB). O conteúdo que excede o tamanho máximo do arquivo é ignorado. Você pode reduzir o tamanho dos robôs.

O Robots.txt é obrigatório?

O Robots.txt não é necessário para o site. Se um bot visitar seu site e não tiver um, ele simplesmente rastreará seu site e indexará as páginas normalmente. O Robots.txt só é necessário se você quiser ter mais controle sobre o que é escaneado.

Produtos

Sites

Sobre

Language

User Name