Localizador de Sitemaps XML e Extrator de URLs
Como usar o localizador de sitemaps XML
Voltar para a ferramentaEntra um domínio; sai cada arquivo de sitemap que o site declara, e as URLs dentro de qualquer arquivo que você abrir.
- 01
Informe um domínio ou o endereço de um sitemap
Um domínio é o caminho habitual: lemos o robots.txt e depois os locais padrão na raiz do host. Cole em vez disso um endereço terminado em .xml ou .xml.gz e esse arquivo exato vira a raiz da árvore, útil quando o sitemap fica num lugar que o robots.txt nunca menciona. O caminho de uma página comum é ignorado; só o host é usado.
- 02
Leia a árvore de arquivos
A busca lê o robots.txt e baixa os arquivos que ele nomeia — o nível de cima, e só ele. Arquivos que um índice de sitemaps declara aparecem direto do corpo do índice, com endereço e Última modificação, mas ainda não se baixa nada deles — é para isso que serve o botão Verificar na linha. Dez requisições respondem a pergunta com que quase todo mundo chega.
- 03
Verifique um arquivo para ler seu conteúdo
Verificar busca aquele único arquivo: um clique, uma requisição. Um conjunto de URLs abre suas URLs de página com as datas de Última modificação. Um índice acrescenta seus filhos à árvore como linhas novas. Um arquivo ilegível diz o porquê, e o botão vira Tentar de novo. Verificar tudo roda a mesma verificação em cada linha pendente e para assim que o limite de taxa responde.
- 04
Exporte a lista
Copiar tabela e Exportar CSV levam a tabela como está: cada linha de arquivo, mais as URLs de página de qualquer arquivo que você abriu. Cinco colunas carregam a árvore para uma planilha: Nível diz se a linha é um sitemap ou uma URL de página; depois o endereço; depois Sitemap pai, o arquivo que a declarou; depois Última modificação; depois Resultado, como o próprio arquivo respondeu — vazio nas linhas de página, que esta ferramenta nunca busca.
Como ler o relatório da árvore de sitemaps
Cada linha é um arquivo de sitemap, ou uma URL de página dentro de um. A linha fica em silêncio enquanto nada está errado, então qualquer coisa escrita ao lado de um endereço vale a leitura. Os tetos são anunciados na tabela, nunca aplicados em silêncio: cem arquivos por varredura, trezentas linhas, 5.000 URLs mostradas por arquivo, 10 MB por arquivo.
Notas de status da linha
- Sem nota, ao lado de Verificar
- Ainda não buscado. Um índice declarou este arquivo, mas a varredura para de propósito no nível superior: buscar cada filho de cada índice custa uma requisição por arquivo e responde a uma pergunta que você talvez não tenha feito.
- Sem nota, ao lado de Ver
- O arquivo foi lido e não havia nada de errado. Aperte Ver para ver o que há dentro: URLs de página se for um urlset, ou novas linhas filhas se ele for outro índice.
- 404, 503, Timeout
- Não deu para ler o arquivo. Um arquivo que um índice declara mas o site não entrega é um achado real — os buscadores recebem a mesma resposta que você. O botão vira Tentar de novo, que pergunta outra vez.
- Não é um sitemap (html)
- O servidor respondeu 200 mas mandou uma página web. Normalmente um soft 404, às vezes uma página de bloqueio. Vale corrigir de qualquer forma — pelo navegador parece tudo certo.
- Acima de 10 MB — não analisado
- Passou do nosso teto de tamanho, medido depois de descompactar. Não analisamos o que só deu para ler pela metade: um XML truncado é um XML quebrado, e uma lista de URLs incompleta que parece completa é pior que nenhuma.
Colunas da árvore
- Índice Lv1, Sitemap Lv2, URL
- A coluna Nível guarda a árvore: o recuo, a seta ↳ de um arquivo declarado por uma linha acima, e o nível. Índice lista outros sitemaps; Sitemap é um arquivo ainda não lido; URL é uma página dentro do arquivo acima.
- Uma data em Última modificação
- O lastmod que o índice pai declara para este arquivo. Não custa nada ler e costuma ser o motivo de estar aqui: diz qual ramo do site mudou recentemente. É a afirmação do próprio site, não uma medição.
- Um traço em Última modificação
- Nada declarou data para este arquivo. Arquivos do nível de cima costumam ficar aqui — nada acima deles declara nada a respeito. Não diz se o arquivo está desatualizado.
- Uma linha sem botão
- Um índice cujos filhos já estão na árvore. Não sobrou nada para baixar dele; leia os filhos.