Robots.txt
Die Datei robots.txt enthält Regeln für kooperierende Crawler; sie ist weder Zugriffsschutz noch ein verlässlicher Ausschluss aus dem Suchindex.
Abrufe steuern, keine Geheimnisse schützen
Die Datei robots.txt gibt Crawlern Regeln dazu, welche Bereiche sie abrufen sollen oder nicht. Die Befolgung hängt vom Crawler ab. Im erfundenen Beispiel sollen bestimmte Filterkombinationen eines Katalogs nicht gecrawlt werden, weil sie viele ähnliche Ansichten erzeugen.
Eine gesperrte URL kann Google trotzdem über andere Links kennen und ohne gelesenen Seiteninhalt indexieren. Soll eine Seite nicht indexiert werden, ist eine dafür geeignete Regel wie noindex anders zu behandeln: Google muss sie auf der Seite oder in deren Antwort lesen können. Für vertrauliche Dokumente brauchen Sie tatsächliche Zugriffskontrollen. Prüfen Sie außerdem, ob Sperren notwendige Skripte oder Styles und damit das Verständnis öffentlicher Seiten beeinträchtigen.
Quellen
Verwandte Begriffe
- CrawlingCrawling ist das automatisierte Abrufen von Webseiten und Ressourcen durch einen Bot, etwa zur Verarbeitung durch eine Suchmaschine.
- IndexierungBei der Indexierung analysiert eine Suchmaschine Inhalte und nimmt Informationen darüber in ihren Suchindex auf.
- Technisches SEOTechnisches SEO schafft technische Voraussetzungen dafür, dass Suchmaschinen geeignete Seiten abrufen, verstehen und indexieren können.
- Core Web VitalsCore Web Vitals beschreiben Ladeerlebnis, Reaktion auf Eingaben und visuelle Stabilität. Messumgebung und Datengrundlage gehören zum Ergebnis.
- Strukturierte DatenStrukturierte Daten beschreiben Inhalte in einem maschinenlesbaren Format und machen deren Bedeutung ausdrücklich kenntlich.
- XML-SitemapEine XML-Sitemap nennt Suchmaschinen ausgewählte URLs einer Website und kann ergänzende Informationen zu ihnen enthalten.
Beiträge zum Thema
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.