Crawling
Crawling ist das automatisierte Abrufen von Webseiten und Ressourcen durch einen Bot, etwa zur Verarbeitung durch eine Suchmaschine.
Ein Bot ruft eine Adresse ab
Beim Crawling besucht ein automatisiertes Programm bekannte oder neu entdeckte URLs und ruft deren Inhalte ab. Suchmaschinen nutzen solche Crawler, um Seiten zu untersuchen. Im erfundenen Beispiel findet ein Bot einen Leitfaden über einen internen Link und versucht anschließend, ihn abzurufen.
Entdeckung und erfolgreicher Abruf sind verschiedene Schritte. Serverfehler, Zugriffsbeschränkungen oder Crawling-Regeln können den Abruf beeinflussen; notwendige Ressourcen können auch für das Rendern wichtig sein. Ein protokollierter Botbesuch beweist weder vollständiges Verständnis noch Indexierung oder gute Platzierung. Prüfen Sie deshalb, welche Adresse mit welcher Antwort und welchem zugänglichen Inhalt erreicht wurde, statt allein Besuche zu zählen.
Quellen
Verwandte Begriffe
- IndexierungBei der Indexierung analysiert eine Suchmaschine Inhalte und nimmt Informationen darüber in ihren Suchindex auf.
- Robots.txtDie Datei robots.txt enthält Regeln für kooperierende Crawler; sie ist weder Zugriffsschutz noch ein verlässlicher Ausschluss aus dem Suchindex.
- XML-SitemapEine XML-Sitemap nennt Suchmaschinen ausgewählte URLs einer Website und kann ergänzende Informationen zu ihnen enthalten.
- Core Web VitalsCore Web Vitals beschreiben Ladeerlebnis, Reaktion auf Eingaben und visuelle Stabilität. Messumgebung und Datengrundlage gehören zum Ergebnis.
- Strukturierte DatenStrukturierte Daten beschreiben Inhalte in einem maschinenlesbaren Format und machen deren Bedeutung ausdrücklich kenntlich.
Beiträge zum Thema
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.