Crawling
Crawling er en bots automatiske hentning af websider og ressourcer, eksempelvis til behandling i en søgemaskine.
En bot henter en adresse
Ved crawling besøger et automatiseret program kendte eller nyopdagede URL'er og henter deres indhold. Søgemaskiner bruger sådanne crawlere til at undersøge sider. I et opdigtet eksempel finder en bot en vejledning via et internt link og forsøger derefter at hente den.
Opdagelse og vellykket hentning er forskellige trin. Serverfejl, adgangsbegrænsninger eller crawling-regler kan påvirke hentningen; nødvendige ressourcer kan også være vigtige for rendering. Et logført botbesøg beviser hverken fuld forståelse, indeksering eller god placering. Kontrollér derfor, hvilken adresse der blev nået med hvilket svar og tilgængeligt indhold, i stedet for kun at tælle besøg.
Kilder
Relaterede begreber
- IndekseringVed indeksering analyserer en søgemaskine indhold og optager oplysninger om det i sit søgeindeks.
- Robots.txtrobots.txt giver regler til samarbejdende crawlere; den er hverken adgangsbeskyttelse eller sikker udelukkelse fra søgeindekset.
- XML-sitemapEt XML-sitemap giver søgemaskiner udvalgte URL’er fra et website og kan indeholde supplerende oplysninger.
- Core Web VitalsCore Web Vitals beskriver indlæsning, reaktion på input og visuel stabilitet. Målemiljøet og datagrundlaget hører med til resultatet.
- Strukturerede dataStrukturerede data beskriver indhold i et maskinlæsbart format og gør betydningen udtrykkelig.
Artikler om emnet
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.