Robots-Direktive
Robots-Direktiven geben Suchmaschinen Regeln zur Indexierung oder Darstellung, sofern diese sie unterstützen. Dabei zählen auch Crawler und Auslieferungsweg.
Eine Robots-Direktive ist eine Anweisung für Suchmaschinen-Crawler, etwa zur Indexierung einer Seite oder zur Darstellung von Suchausschnitten. Welche Regeln gelten, hängt vom angesprochenen Crawler und seiner Unterstützung ab.
HTML und Antwortheader zusammen prüfen
Google dokumentiert Regeln im Robots-Meta-Tag und im HTTP-Antwortheader. Der Header heißt X-Robots-Tag und kann auch für Dateien ohne HTML verwendet werden. Die Seite muss für den Crawler erreichbar sein, damit er die ausgelieferte Anweisung lesen kann.
Übernommene Vorlageneinstellungen erkennen
In einem fiktiven Projekt bleibt nach dem Wechsel von der Vorschau zur öffentlichen Leistungsseite versehentlich noindex in der Vorlage stehen. Das Team muss die tatsächlich ausgelieferte Regel und ihren Geltungsbereich prüfen. Eine Einstellung im Redaktionsformular allein beweist noch nicht, was der Server sendet. Die Regeln einer robots.txt steuern dagegen das Abrufen; beide Mechanismen sind zu unterscheiden. Eine Anweisung zur Suchdarstellung ist außerdem keine Zugangskontrolle für vertrauliche Inhalte.
Quellen
Verwandte Begriffe
- NoindexNoindex steuert die Aufnahme in Suchmaschinen, die diese Anweisung unterstützen. Der Crawler muss sie lesen können; sie ersetzt keinen Zugangsschutz.
- IndexierungsstatusDer Indexierungsstatus beschreibt die Aufnahme einer URL in einen Suchindex. Er ist von Erreichbarkeit und Sichtbarkeit bei einer bestimmten Suche zu unterscheiden.
- Crawl-BudgetDas Crawl-Budget beschreibt, welche URLs Google abrufen kann und möchte. Serverkapazität und Abrufbedarf wirken dabei zusammen.
- HreflangHreflang kennzeichnet zusammengehörige Sprach- oder Regionalversionen einer Seite für Suchmaschinen.
- Canonical-URLEine Canonical-URL ist die bevorzugte Adresse für gleiche oder sehr ähnliche Inhalte; Suchmaschinen bewerten dazu mehrere Signale.
- Technisches SEOTechnisches SEO schafft technische Voraussetzungen dafür, dass Suchmaschinen geeignete Seiten abrufen, verstehen und indexieren können.
Beiträge zum Thema
Online-Marketing mit ASES
SEO, GEO, Anzeigen und Analytics