Vutral
Comment utiliser cet outil

Vérificateur Meta Robots et X-Robots-Tag en Masse

Données vérifiéesMeta Robots

Comment utiliser le vérificateur de balises meta robots en masse

Retour à l’outil

Chaque URL est récupérée une fois et les deux emplacements possibles d’une règle d’indexation sont lus : la balise meta robots dans le head et l’en-tête de réponse X-Robots-Tag.

  1. 01

    Saisissez les URL à vérifier

    Le mode simple vérifie une adresse et se lance avec Entrée. Passez en En masse pour coller une liste, une URL par ligne, jusqu’à 30 par série. Les pages à coller ensemble sont celles qui doivent différer : une page produit à indexer à côté d’une page de recherche à exclure, pour qu’une seule série montre les deux réponses côte à côte.

  2. 02

    Choisissez le niveau de normalisation de l’URL

    Normaliser l’URL réécrit chaque adresse avant la requête. URL complète garde le chemin et la requête mais retire les paramètres de suivi et le fragment ; Sans paramètres supprime la chaîne de requête ; Domaine uniquement ne garde que le domaine. Les règles d’indexation se fixent par gabarit, et la chaîne de requête est ce qui distingue une page de recherche de sa liste ; retirez-la et vous vérifiez la liste à la place.

  3. 03

    Lisez la colonne Robots

    La colonne affiche les chaînes de directives telles que déclarées, une par ligne, et ne juge rien. Une directive visant un seul robot est affichée avec ce nom à la suite, [googlebot] par exemple, car un mot adressé à un seul robot pèse moins. Une cellule vide signifie que rien n’a été déclaré, et ce n’est pas un défaut : une telle page est indexable et suivable.

  4. 04

    Inspectez une ligne et exportez les résultats

    Voir fait la somme des directives et marque chacune de sa source : [html] pour la balise meta, [header] pour l’en-tête. La balise meta vit dans un gabarit ; l’en-tête, dans la configuration du serveur ou du CDN. Une seconde marque signale une directive visant un seul robot ; le verdict ne la compte que lorsque User agent est réglé sur ce robot. Copier le tableau copie les lignes séparées par des tabulations ; Exporter en CSV les écrit dans un fichier.

Comment lire le rapport noindex et nofollow

Une ligne se lit de gauche à droite : l’adresse vérifiée, où elle a abouti, et la règle que cette page fixe pour les robots.

Colonnes du tableau de résultats

URL
L’adresse exactement telle qu’elle a été vérifiée — après normalisation, pas toujours ce que vous avez saisi.
URL résolue
Où la requête s’est terminée et avec quel statut. Les redirections sont suivies d’abord, et la règle est lue sur cette page finale.
Robots
Toutes les chaînes de directives déclarées par la page finale, une par ligne, inchangées, chacune suivie du nom du robot lorsqu’elle ne s’adresse qu’à un seul. — signifie qu’aucune n’a été déclarée.
Résultat
Si la ligne est terminée, encore en cours, ou arrêtée sur une erreur. Cela ne dit rien de la règle elle-même.
Actions
Voir ouvre le panneau de détail de cette ligne ; Réessayer apparaît à la place quand la requête n’a jamais abouti.

Conclusions du panneau de détail

L’indexation et le suivi des liens sont autorisés.
Quelque chose a été déclaré, et rien là-dedans ne bloque quoi que ce soit — un index explicite, un follow, ou des directives qui ne font que façonner l’extrait. Le même résultat que ne rien déclarer, dit tout haut.
Aucune directive robots — la valeur par défaut est index, follow.
Rien n’a été déclaré, la valeur par défaut s’applique donc : indexable et suivable. Correct pour la plupart des pages.
nofollow — les liens de cette page ne sont pas suivis.
La page est indexable mais ses liens ne transmettent rien. Rarement ce que veut une page publique, et facile à hériter d’un gabarit conçu pour autre chose.
noindex — cette page ne sera pas indexée.
La page est tenue hors de l’index. Juste pour une page de recherche ou de remerciement, et l’erreur la plus coûteuse sur une page que vous vouliez classer. none compte aussi ici : c’est le raccourci de noindex plus nofollow.
Les deux sources divergent — Google applique la plus stricte.
Une source bloque l’indexation et l’autre non. Google retient la plus stricte, la page est donc exclue ; ne lire que la source permissive dit le contraire.
Rien ici ne s’applique à tous les robots — chaque directive ci-dessus en nomme un, et celles-là ne sont pas vérifiées.
Tout ce que la page déclare vise un robot nommé, donc il n’y a pas de règle générale à juger. Lisez vous-même les directives listées : une page ouverte à tous sauf à Googlebot reste une page que Google n’indexera pas.
Les directives qui nomment un robot sont affichées mais pas vérifiées — le verdict ci-dessus ne couvre que celles qui s’appliquent à tous.
La page déclare les deux sortes. Le verdict n’est vrai que des règles générales, et celles qui nomment un robot se tiennent juste au-dessus sans être jugées — à lire quand le robot nommé est justement celui qui vous intéresse.
Rien ici ne s’applique à Googlebot Smartphone — chaque directive ci-dessus nomme un autre robot.
Vous avez lancé le test en tant que robot nommé, et chaque ligne déclarée par la page en nomme un autre. Rien ici ne restreint le robot choisi ; les lignes listées concernent les autres.
Le verdict ci-dessus concerne Googlebot Smartphone : les directives qui le nomment sont prises en compte, celles qui nomment d’autres robots non.
Apparaît quand vous lancez le test en tant que robot nommé et que la page nomme un robot. Les lignes qui nomment le robot choisi rejoignent les règles générales dans le verdict ; celles qui en nomment un autre sont seulement listées.
Les directives prises en compte pour Googlebot Smartphone divergent — le verdict ci-dessus suit la plus stricte.
Vous avez lancé le test en tant que robot nommé et les lignes qui s’appliquent à lui divergent : l’une bloque l’indexation, l’autre non. Le verdict retient la plus stricte. Google indique faire de même ; les autres robots publient leurs propres règles.

D’où peut venir une directive

[html]
Une balise <meta name="robots"> dans le head de la page. Corrigez-la dans le gabarit qui rend ce head.
[header]
Un en-tête de réponse X-Robots-Tag. Le seul moyen de poser une règle sur un fichier sans head, un PDF ou une image, et facile à oublier car le code source de la page ne le montre jamais. Corrigez-le dans la configuration du serveur ou du CDN.
[googlebot] et autres noms de robots
Une directive adressée à un seul robot : <meta name="googlebot">, ou une ligne X-Robots-Tag préfixée d’un nom de robot. Elle est listée avec ce nom, et n’est jugée que lorsque User agent est réglé sur ce robot. Lisez ces lignes vous-même : une page bloquée pour le seul Googlebot ne se classera pas.