Robots.txt
robots.txt geeft regels aan meewerkende crawlers; het biedt geen toegangsbeveiliging of betrouwbare uitsluiting van de zoekindex.
Ophalen sturen, geen geheimen beschermen
Het bestand robots.txt vertelt crawlers welke gedeelten ze wel of niet moeten ophalen. Naleving hangt af van de crawler. In een fictief voorbeeld moeten bepaalde filtercombinaties van een catalogus niet worden gecrawld omdat ze veel vergelijkbare weergaven opleveren.
Google kan een geblokkeerde URL toch via andere links kennen en indexeren zonder de pagina-inhoud te lezen. Voor uitsluiting uit de index vraagt een geschikte regel zoals noindex om een andere aanpak: Google moet die op de pagina of in het antwoord kunnen lezen. Vertrouwelijke documenten hebben echte toegangscontroles nodig. Controleer ook of blokkades noodzakelijke scripts of stijlen raken en zo het begrip van openbare pagina's beperken.
Bronnen
Verwante begrippen
- CrawlenCrawlen is het automatisch ophalen van webpagina’s en bronnen door een bot, bijvoorbeeld voor verwerking door een zoekmachine.
- IndexeringBij indexering analyseert een zoekmachine inhoud en neemt informatie daarover op in de zoekindex.
- Technische SEOTechnische SEO regelt technische voorwaarden waarmee zoekmachines geschikte pagina’s kunnen ophalen, begrijpen en indexeren.
- Core Web VitalsCore Web Vitals beschrijven laden, reacties op invoer en visuele stabiliteit. De meetomgeving en onderliggende gegevens horen bij het resultaat.
- Gestructureerde gegevensGestructureerde gegevens beschrijven inhoud in een machineleesbaar formaat en maken de betekenis expliciet.
- XML-sitemapEen XML-sitemap geeft zoekmachines geselecteerde URL’s van een website en kan aanvullende informatie bevatten.
Artikelen over dit onderwerp
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.