Robots.txt
robots.txt gir regler til samarbeidende crawlere; den gir verken tilgangsvern eller sikker utelukkelse fra søkeindeksen.
Styr henting, ikke beskytt hemmeligheter med filen
Filen robots.txt forteller crawlere hvilke områder de bør hente eller unngå. Etterlevelsen avhenger av crawleren. I et oppdiktet eksempel skal bestemte filterkombinasjoner i en katalog ikke gjennomsøkes fordi de skaper mange lignende visninger.
Google kan fortsatt kjenne en blokkert URL via andre lenker og indeksere den uten å lese sideinnholdet. Hvis en side skal holdes utenfor indeksen, krever en egnet regel som noindex en annen håndtering: Google må kunne lese den på siden eller i svaret. Fortrolige dokumenter trenger faktiske tilgangskontroller. Kontroller også om blokkeringer rammer nødvendige skript eller stiler og dermed forståelsen av offentlige sider.
Kilder
Beslektede begreper
- GjennomsøkingGjennomsøking er en bots automatiske henting av nettsider og ressurser, eksempelvis for behandling i en søkemotor.
- IndekseringVed indeksering analyserer en søkemotor innhold og tar inn informasjon om det i søkeindeksen.
- Teknisk SEOTeknisk SEO legger tekniske forutsetninger for at søkemotorer kan hente, forstå og indeksere egnede sider.
- Core Web VitalsCore Web Vitals beskriver innlasting, respons på inndata og visuell stabilitet. Målemiljøet og datagrunnlaget hører med til resultatet.
- Strukturerte dataStrukturerte data beskriver innhold i et maskinlesbart format og gjør betydningen eksplisitt.
- XML-sitemapEt XML-sitemap gir søkemotorer utvalgte URL-er fra et nettsted og kan inneholde tilleggsinformasjon.
Artikler om temaet
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.