Robots.txt
Le fichier robots.txt donne des règles aux robots coopératifs ; il ne protège pas les accès et ne garantit pas l’exclusion de l’index.
Gérer les explorations, pas protéger les secrets
Le fichier robots.txt indique aux robots les zones qu’ils devraient ou non récupérer. Le respect dépend du robot. Dans un exemple fictif, certaines combinaisons de filtres d’un catalogue ne doivent pas être explorées, car elles génèrent de nombreuses vues similaires.
Google peut néanmoins découvrir une URL bloquée par d’autres liens et l’indexer sans lire son contenu. Pour exclure une page de l’index, une règle adaptée comme noindex se gère différemment : Google doit pouvoir la lire dans la page ou sa réponse. Les documents confidentiels nécessitent de véritables contrôles d’accès. Vérifiez aussi si les blocages touchent des scripts ou styles nécessaires et gênent ainsi la compréhension des pages publiques.
Sources
Termes associés
- ExplorationL’exploration est la récupération automatisée de pages et de ressources par un robot, par exemple pour un moteur de recherche.
- IndexationLors de l’indexation, un moteur analyse le contenu et ajoute des informations le concernant à son index de recherche.
- SEO techniqueLe SEO technique prépare les conditions permettant aux moteurs de récupérer, comprendre et indexer les pages appropriées.
- Core Web VitalsLes Core Web Vitals décrivent chargement, réactivité et stabilité visuelle. Un résultat doit préciser l’environnement de mesure et les données utilisées.
- Données structuréesLes données structurées décrivent le contenu dans un format lisible par machine et en précisent explicitement le sens.
- Sitemap XMLUn sitemap XML indique aux moteurs une sélection d’URL du site et peut fournir des informations complémentaires.
Articles sur le sujet
Votre projet avec ASES
Décrivez-nous votre projet. Nous revenons vers vous avec une première évaluation.