Robots.txt
robots.txt ger regler till samarbetsvilliga sökrobotar; filen är varken åtkomstskydd eller en säker uteslutning från sökindexet.
Styr hämtningar, skydda inte hemligheter med filen
Filen robots.txt talar om för sökrobotar vilka områden de bör hämta eller undvika. Efterlevnaden beror på roboten. I ett påhittat exempel ska vissa filterkombinationer i en katalog inte genomsökas eftersom de skapar många liknande vyer.
Google kan ändå känna till en blockerad URL via andra länkar och indexera den utan att läsa sidinnehållet. Om en sida ska hållas utanför indexet kräver en lämplig regel som noindex annan hantering: Google måste kunna läsa den på sidan eller i svaret. Konfidentiella dokument behöver verkliga åtkomstkontroller. Kontrollera även om spärrar påverkar nödvändiga skript eller stilar och därmed förståelsen av offentliga sidor.
Källor
Relaterade begrepp
- GenomsökningGenomsökning är en bots automatiska hämtning av webbsidor och resurser, exempelvis för bearbetning i en sökmotor.
- IndexeringVid indexering analyserar en sökmotor innehåll och tar in information om det i sitt sökindex.
- Teknisk SEOTeknisk SEO skapar tekniska förutsättningar för att sökmotorer ska kunna hämta, förstå och indexera lämpliga sidor.
- Core Web VitalsCore Web Vitals beskriver laddning, respons på inmatning och visuell stabilitet. Mätmiljö och dataunderlag hör till resultatet.
- Strukturerad dataStrukturerad data beskriver innehåll i ett maskinläsbart format och gör betydelsen uttrycklig.
- XML-sitemapEn XML-sitemap anger utvalda URL:er på en webbplats för sökmotorer och kan innehålla kompletterande information.
Artiklar om ämnet
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.