Robots.txt
robots.txt giver regler til samarbejdende crawlere; den er hverken adgangsbeskyttelse eller sikker udelukkelse fra søgeindekset.
Styr hentning, beskyt ikke hemmeligheder med filen
Filen robots.txt fortæller crawlere, hvilke områder de bør hente eller undgå. Efterlevelsen afhænger af crawleren. I et opdigtet eksempel skal bestemte filterkombinationer i et katalog ikke crawles, fordi de skaber mange lignende visninger.
Google kan stadig kende en blokeret URL via andre links og indeksere den uden at læse sideindholdet. Hvis en side skal holdes ude af indekset, kræver en egnet regel som noindex en anden håndtering: Google skal kunne læse den på siden eller i svaret. Fortrolige dokumenter kræver reel adgangskontrol. Kontrollér også, om blokeringer rammer nødvendige scripts eller styles og dermed forståelsen af offentlige sider.
Kilder
Relaterede begreber
- CrawlingCrawling er en bots automatiske hentning af websider og ressourcer, eksempelvis til behandling i en søgemaskine.
- IndekseringVed indeksering analyserer en søgemaskine indhold og optager oplysninger om det i sit søgeindeks.
- Teknisk SEOTeknisk SEO skaber tekniske forudsætninger for, at søgemaskiner kan hente, forstå og indeksere relevante sider.
- Core Web VitalsCore Web Vitals beskriver indlæsning, reaktion på input og visuel stabilitet. Målemiljøet og datagrundlaget hører med til resultatet.
- Strukturerede dataStrukturerede data beskriver indhold i et maskinlæsbart format og gør betydningen udtrykkelig.
- XML-sitemapEt XML-sitemap giver søgemaskiner udvalgte URL’er fra et website og kan indeholde supplerende oplysninger.
Artikler om emnet
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.