Crawlbudget

Het crawlbudget duidt de URL’s aan die Google voor een website kan en wil ophalen. De term beschrijft beschikbare crawlmiddelen, geen geldbudget voor zoekmachineoptimalisatie. Google onderscheidt de grens van de crawlcapaciteit en de vraag naar het ophalen van inhoud.

Bekijk technische grenzen en het aantal URL’s

In een fictief project genereren sorteerparameters veel URL’s met grotendeels dezelfde inhoud. Tegelijk reageert de server soms traag. Dubbele URL’s kunnen crawlwerk veroorzaken; de serverreactie kan beïnvloeden hoeveel er opgehaald kan worden. Daaruit volgt echter niet automatisch dat nieuwe pagina’s uitsluitend daarom in de zoekindex ontbreken.

Toon eerst het probleem aan

De handleiding van Google richt zich vooral op grote of vaak bijgewerkte websites. Bij een kleine bedrijfswebsite is het crawlbudget dus niet bij voorbaat de eerste oorzaak van problemen. Controleer aanwijzingen voor ophaalproblemen en de indexeringsstatus voordat u een capaciteitswijziging plant. Meer crawlen garandeert noch indexering, noch een bepaalde zoekpositie.

Bronnen

• Google Crawling Infrastructure: Optimize your crawl budget