Crawlen
Crawlen is het automatisch ophalen van webpagina’s en bronnen door een bot, bijvoorbeeld voor verwerking door een zoekmachine.
Een bot haalt een adres op
Bij crawlen bezoekt een geautomatiseerd programma bekende of pas ontdekte URL's en haalt het hun inhoud op. Zoekmachines gebruiken zulke crawlers om pagina's te onderzoeken. In een fictief voorbeeld ontdekt een bot een handleiding via een interne link en probeert die daarna op te halen.
Ontdekking en succesvol ophalen zijn verschillende stappen. Serverfouten, toegangsbeperkingen of crawlregels kunnen het ophalen beïnvloeden; benodigde bronnen kunnen ook belangrijk zijn voor het renderen. Een vastgelegd botbezoek bewijst geen volledig begrip, indexering of goede positie. Controleer daarom welk adres met welk antwoord en welke toegankelijke inhoud is bereikt, in plaats van alleen bezoeken te tellen.
Bronnen
Verwante begrippen
- IndexeringBij indexering analyseert een zoekmachine inhoud en neemt informatie daarover op in de zoekindex.
- Robots.txtrobots.txt geeft regels aan meewerkende crawlers; het biedt geen toegangsbeveiliging of betrouwbare uitsluiting van de zoekindex.
- XML-sitemapEen XML-sitemap geeft zoekmachines geselecteerde URL’s van een website en kan aanvullende informatie bevatten.
- Core Web VitalsCore Web Vitals beschrijven laden, reacties op invoer en visuele stabiliteit. De meetomgeving en onderliggende gegevens horen bij het resultaat.
- Gestructureerde gegevensGestructureerde gegevens beschrijven inhoud in een machineleesbaar formaat en maken de betekenis expliciet.
Artikelen over dit onderwerp
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.