Crawl-Budget

Das Crawl-Budget bezeichnet die URLs, die Google für eine Website abrufen kann und möchte. Der Begriff beschreibt verfügbare Crawling-Ressourcen, kein Geldbudget für Suchmaschinenoptimierung. Google unterscheidet dabei die Grenze der Abrufkapazität und den Bedarf, Inhalte abzurufen.

Technische Grenzen und URL-Menge betrachten

Im fiktiven Projekt erzeugen Sortierparameter viele URLs mit weitgehend gleichem Inhalt. Zugleich antwortet der Server zeitweise langsam. Doppelte URLs können Crawling-Aufwand verursachen; die Serverreaktion kann die mögliche Abrufmenge beeinflussen. Daraus folgt jedoch nicht automatisch, dass neue Seiten nur deshalb im Suchindex fehlen.

Das Problem zuerst belegen

Googles Leitfaden richtet sich vor allem an große oder häufig aktualisierte Websites. Bei einem kleinen Unternehmensauftritt ist das Crawl-Budget deshalb nicht pauschal die erste Fehlerursache. Prüfen Sie Hinweise auf Abrufprobleme und den Indexierungsstatus, bevor Sie eine Kapazitätsänderung planen. Mehr Crawling garantiert weder Indexierung noch eine bestimmte Suchposition.

Quellen

• Google Crawling Infrastructure: Optimize your crawl budget