Robotsrichtlijn
Robotsrichtlijnen geven zoekmachines die ze ondersteunen regels voor indexering of weergave. Ook de crawler en de manier van aanleveren tellen mee.
Een robotsrichtlijn is een instructie voor zoekmachinecrawlers, bijvoorbeeld over het indexeren van een pagina of het weergeven van zoekfragmenten. Welke regels gelden, hangt af van de aangesproken crawler en de ondersteuning die deze biedt.
Controleer HTML en antwoordheader samen
Google documenteert regels in de robots-metatag en de HTTP-antwoordheader. De header heet X-Robots-Tag en kan ook voor bestanden zonder HTML worden gebruikt. De crawler moet de pagina kunnen bereiken om de geleverde instructie te lezen.
Herken overgenomen sjablooninstellingen
In een fictief project blijft noindex per ongeluk in het sjabloon staan wanneer een voorbeeldpagina een openbare dienstenpagina wordt. Het team moet de werkelijk geleverde regel en het toepassingsgebied controleren. Een instelling in het redactieformulier bewijst op zichzelf nog niet wat de server verstuurt. De regels van robots.txt sturen daarentegen het ophalen; beide mechanismen moeten worden onderscheiden. Een instructie voor de zoekweergave biedt ook geen toegangscontrole voor vertrouwelijke inhoud.
Bronnen
Verwante begrippen
- NoindexNoindex regelt opname in zoekmachines die de instructie ondersteunen. De crawler moet haar kunnen lezen; ze vervangt geen toegangsbeveiliging.
- IndexeringsstatusDe indexeringsstatus beschrijft de opname van een URL in een zoekindex. Dat verschilt van bereikbaarheid en zichtbaarheid bij een bepaalde zoekopdracht.
- CrawlbudgetHet crawlbudget beschrijft welke URL’s Google kan en wil ophalen. Servercapaciteit en crawlvraag werken daarbij samen.
- HreflangHreflang markeert bij elkaar horende taal- of regioversies van een pagina voor zoekmachines.
- Canonical-URLEen canonical-URL is het voorkeursadres voor gelijke of sterk vergelijkbare inhoud; zoekmachines wegen meerdere signalen bij hun keuze.
- Technische SEOTechnische SEO regelt technische voorwaarden waarmee zoekmachines geschikte pagina’s kunnen ophalen, begrijpen en indexeren.
Artikelen over dit onderwerp
Online marketing met ASES
SEO, GEO, advertenties en analytics