Budget de crawl

Le budget de crawl désigne les URL que Google peut et souhaite récupérer pour un site. Le terme décrit les ressources d’exploration disponibles, pas un budget financier de référencement. Google distingue la limite de capacité d’exploration et la demande de récupération des contenus.

Examiner limites techniques et volume d’URL

Dans un projet fictif, des paramètres de tri génèrent de nombreuses URL au contenu largement identique. Le serveur répond aussi lentement par moments. Les URL en double peuvent entraîner du travail d’exploration ; la réponse du serveur peut influer sur le volume récupérable. Cela ne signifie toutefois pas automatiquement que de nouvelles pages sont absentes de l’index pour cette seule raison.

Établir d’abord le problème

Le guide de Google vise surtout les grands sites ou ceux fréquemment mis à jour. Pour un petit site d’entreprise, le budget de crawl ne doit donc pas être considéré d’emblée comme la première cause du problème. Vérifiez les indices de difficultés de récupération et l’état d’indexation avant de prévoir un changement de capacité. Davantage d’exploration ne garantit ni indexation ni position précise dans les résultats.

Sources

• Google Crawling Infrastructure: Optimize your crawl budget