Directive robots

Une directive robots est une instruction destinée aux robots des moteurs de recherche, par exemple sur l’indexation d’une page ou l’affichage d’extraits de recherche. Les règles applicables dépendent du robot visé et de leur prise en charge.

Vérifier ensemble HTML et en-tête de réponse

Google documente les règles dans la balise meta robots et dans l’en-tête de réponse HTTP. Cet en-tête se nomme X-Robots-Tag et peut aussi servir pour des fichiers sans HTML. Le robot doit pouvoir accéder à la page pour lire l’instruction transmise.

Repérer les réglages hérités d’un modèle

Dans un projet fictif, noindex reste par erreur dans le modèle lorsqu’un aperçu devient une page de services publique. L’équipe doit vérifier la règle réellement transmise et sa portée. Un réglage dans le formulaire éditorial ne prouve pas, à lui seul, ce que le serveur envoie. Les règles de robots.txt contrôlent, quant à elles, la récupération ; il faut distinguer les deux mécanismes. Une instruction sur la présentation dans la recherche ne contrôle pas non plus l’accès aux contenus confidentiels.

Sources

• Google Search Central: Robots meta tag specifications