Vutral
Como usar esta ferramenta

Verificador de Meta Robots e X-Robots-Tag em Massa

Dados verificadosMeta Robots

Como usar o verificador de meta robots em lote

Voltar para a ferramenta

Cada URL é buscada uma vez e os dois lugares onde uma regra de indexação pode morar são lidos: a meta tag robots no head e o cabeçalho de resposta X-Robots-Tag.

  1. 01

    Insira as URLs a verificar

    O modo único verifica um endereço e roda com Enter. Mude para Em massa para colar uma lista, uma URL por linha, até 30 por rodada. As páginas que valem colar juntas são as que devem diferir: uma página de produto que precisa ser indexada ao lado de uma página de busca que não pode, para que uma rodada mostre as duas respostas lado a lado.

  2. 02

    Escolha o nível de normalização da URL

    Normalizar URL reescreve cada endereço antes da requisição. URL completa mantém caminho e query, mas remove parâmetros de rastreamento e o fragmento; Sem parâmetros remove a query string; Somente domínio mantém só o domínio. Regras de indexação são definidas por template, e a query string é o que distingue uma página de busca da sua listagem; remova-a e você verifica a listagem no lugar.

  3. 03

    Leia a coluna Robots

    A coluna mostra as strings de diretiva exatamente como declaradas, uma por linha, e não julga nada. Uma diretiva que nomeia um único rastreador aparece com esse nome depois dela, [googlebot] por exemplo, porque uma palavra dirigida a um só rastreador significa menos. Uma célula vazia significa que nada foi declarado, o que não é falha: essa página é indexável e seguível.

  4. 04

    Inspecione uma linha e exporte os resultados

    Ver resume as diretivas e marca cada uma com sua origem: [html] para a meta tag, [header] para o cabeçalho. A meta tag mora num template; o cabeçalho, na configuração do servidor ou do CDN. Uma segunda marca aponta uma diretiva que nomeia um só rastreador; o veredito só a conta quando User agent está definido para esse rastreador. Copiar tabela copia as linhas separadas por tabulação; Exportar CSV as grava num arquivo.

Como ler o relatório de noindex e nofollow

Uma linha se lê da esquerda para a direita: o endereço verificado, onde ele pousou, e a regra que essa página define para os rastreadores.

Colunas da tabela de resultados

URL
O endereço exatamente como foi verificado — após a normalização, nem sempre o que você digitou.
URL resolvida
Onde a requisição terminou e com qual status. Redirecionamentos são seguidos antes, e a regra é lida dessa página final.
Robots
Todas as strings de diretiva que a página final declara, uma por linha, sem alteração, cada uma com o nome do rastreador depois quando se dirige a apenas um. — significa que nenhuma foi declarada.
Resultado
Se a linha terminou, ainda está rodando ou parou com erro. Não diz nada sobre a regra em si.
Ações
Ver abre o painel de detalhes daquela linha; Tentar de novo aparece no lugar quando a requisição nunca chegou a passar.

Conclusões do painel de detalhes

Indexação e seguimento de links permitidos.
Algo foi declarado e nada disso bloqueia coisa alguma — um index explícito, um follow, ou diretivas que só moldam o snippet. O mesmo resultado de não declarar nada, dito em voz alta.
Nenhuma diretiva robots — o padrão é index, follow.
Nada foi declarado, então vale o padrão: indexável e seguível. Correto para a maioria das páginas.
nofollow — os links desta página não são seguidos.
A página é indexável mas seus links não transmitem nada. Raramente é o que uma página pública quer, e é fácil de herdar de um template feito para outra coisa.
noindex — esta página não será indexada.
A página fica fora do índice. Certo para uma página de busca ou de agradecimento, e o erro mais caro numa página que você queria ranquear. none também conta aqui: é a abreviação de noindex mais nofollow.
As duas fontes divergem — o Google aplica a mais restritiva.
Uma fonte bloqueia a indexação e a outra não. O Google fica com a mais restritiva, então a página sai; ler só a fonte permissiva diz o contrário.
Nada aqui vale para todos os rastreadores — cada diretiva acima nomeia um, e essas não são verificadas.
Tudo o que a página declara se dirige a um rastreador nomeado, então não há regra geral a julgar. Leia você mesmo as diretivas listadas: uma página aberta a todos menos ao Googlebot ainda é uma página que o Google não vai indexar.
Diretivas que nomeiam um rastreador aparecem mas não são verificadas — o veredicto acima cobre apenas as que valem para todos.
A página declara os dois tipos. O veredito só vale para as regras gerais, e as que nomeiam alguém ficam acima sem julgamento — vale ler quando o rastreador nomeado é justamente o que te interessa.
Nada aqui se aplica a Googlebot Smartphone — cada diretiva acima nomeia outro rastreador.
Você rodou como um rastreador nomeado, e cada linha que a página declara nomeia outro. Nada aqui restringe o rastreador escolhido; as linhas listadas são para outros.
O veredito acima é para Googlebot Smartphone: as diretivas que o nomeiam contam, as que nomeiam outros rastreadores não.
Aparece quando você roda como um rastreador nomeado e a página nomeia algum rastreador. As linhas que nomeiam o rastreador escolhido se somam às regras gerais no veredito; as que nomeiam outros só são listadas.
As diretivas contadas para Googlebot Smartphone divergem — o veredito acima segue a mais restritiva.
Você rodou como um rastreador nomeado e as linhas que valem para ele divergem: uma bloqueia a indexação e outra não. O veredito fica com a mais restritiva. O Google documenta que faz o mesmo; outros rastreadores publicam as próprias regras.

De onde uma diretiva pode vir

[html]
Uma tag <meta name="robots"> no head da página. Conserte no template que renderiza aquele head.
[header]
Um cabeçalho de resposta X-Robots-Tag. A única forma de definir uma regra num arquivo sem head, um PDF ou uma imagem, e fácil de esquecer porque o código-fonte da página nunca o mostra. Corrija na configuração do servidor ou do CDN.
[googlebot] e outros nomes de rastreador
Uma diretiva dirigida a um único rastreador: <meta name="googlebot">, ou uma linha X-Robots-Tag prefixada com o nome de um rastreador. É listada com esse nome, e só é julgada quando User agent está definido para esse rastreador. Leia essas linhas você mesmo: uma página bloqueada só para o Googlebot não vai ranquear.