Indizierbarkeit: robots.txt und Meta-Robots-Tags

Was sind robots.txt und Meta-Robots?

robots.txt ist eine Textdatei, die sich im Stammverzeichnis der Website befindet (z. B. https://beispiel.de/robots.txt) und Suchmaschinen-Bots mitteilt, welche Verzeichnisse oder Seiten sie crawlen dürfen. Das Meta-Robots-Tag hingegen befindet sich im <head>-Teil des HTML einer Seite und steuert, ob eine Seite – selbst wenn sie gecrawlt wurde – in den Suchergebnissen indexiert wird oder nicht. Beide funktionieren auf unterschiedlichen Ebenen: Das eine beantwortet die Frage „Darfst du durch diese Tür hereinkommen?“, das andere „Darfst du diesen Raum nach dem Betreten in den Katalog aufnehmen?“.

Diese Unterscheidung wird oft verwechselt, da beide unter dem Oberbegriff „Bot-Verwaltung“ diskutiert werden, ihre Wirkungsbereiche jedoch völlig unterschiedlich sind und eine falsche Kombination zu unerwünschten Ergebnissen führen kann.

robots.txt ist eigentlich eine „Regelanforderung“ und keine Sicherheitsmaßnahme: Gutwillige Bots (wie Googlebot) halten sich an diese Regeln, böswillige Bots können die Datei jedoch komplett ignorieren. Daher ist der Versuch, vertrauliche oder sensible Inhalte mit robots.txt zu „verbergen“, eine falsche Sicherheitsannahme.

Warum ist das wichtig?

Die Verwechslung dieser beiden Mechanismen kann die Sichtbarkeit der Website erheblich beeinträchtigen. Wenn eine Seite durch robots.txt für das Crawlen gesperrt wird, kann die Suchmaschine das noindex -Tag auf dieser Seite überhaupt nicht sehen – denn um das Tag zu sehen, muss die Seite zunächst gecrawlt werden – und die Seite kann versehentlich im Index verbleiben (in der Regel als Eintrag ohne Titel und Beschreibung).

Bei korrekter Verwendung ermöglichen diese beiden Werkzeuge jedoch eine präzise Steuerung darüber, welche Inhalte in den Suchergebnissen erscheinen: „robots.txt“ hält das Crawling-Budget von unwichtigen Bereichen fern (z. B. Admin-Bereich, Suchergebnisseiten), während „meta robots“ dafür sorgt, dass bestimmte Seiten (z. B. Dankesseite, gefilterte Listungsvarianten) aus dem Index entfernt werden.

Bei großen Websites ist das Crawling-Budget eine begrenzte Ressource: Der Bot crawlt bei jedem Besuch nur einen Teil der Website. Durch das Blockieren unwichtiger Bereiche (z. B. interne Suchergebnisseiten, Filterkombinationen) mit robots.txt wird sichergestellt, dass der Bot seine Zeit auf die wirklich wichtigen Seiten verwendet.

Wie lässt sich das beheben?

Blockieren Sie mit robots.txt nur die Verzeichnisse, die wirklich nicht gecrawlt werden sollen (z. B. Admin-Bereiche, Warenkorb-Seiten).
Wenn Sie eine Seite aus dem Index entfernen möchten, tun Sie dies nicht über robots.txt, <meta name="robots" content="noindex"> .
Beachten Sie, dass die Seite für „noindex“ zugänglich sein muss, damit „noindex“ funktioniert.
Halten Sie sich an den Grundsatz der einzigen Quelle der Wahrheit: Wiederholen Sie dasselbe Signal nicht auf widersprüchliche Weise mit mehreren Methoden.
Überprüfen Sie die robots.txt-Datei regelmäßig; möglicherweise sind versehentlich Test- oder Staging-Einschränkungen in der Produktionsumgebung verblieben.
Überprüfen Sie regelmäßig mithilfe des Coverage-Berichts in der Google Search Console, welche Seiten als „nicht gecrawlt“ oder „aufgrund von noindex ausgeschlossen“ markiert sind.

Beispiel

User-agent: *
Disallow: /admin/
Allow: /

<meta name="robots" content="noindex, follow">

Schlechtes Beispiel: Eine Seite wird zunächst Disallow: /kampanya/ in der robots.txt-Datei blockieren und anschließend <meta name="robots" content="noindex"> hinzufügen – da der Bot die Seite gar nicht crawlt, hat das „noindex“-Tag keine Wirkung, und die Seite kann weiterhin im Index erscheinen.

Häufige Fehler

Disallow: / durch versehentliches Hinzufügen des „noindex“-Tags die gesamte Website für das Crawlen sperren.
Eine Seite sowohl in der robots.txt-Datei zu blockieren als auch mit dem „noindex“-Tag zu versehen (das Tag wird gar nicht erkannt, die Seite kann weiterhin im Index erscheinen).
Vergessen, die restriktive robots.txt-Datei aus der Test-/Staging-Umgebung auf die Live-Website zu übertragen.
Wichtige Seiten versehentlich in die „Disallow“-Liste aufzunehmen.
Nach einer Website-Migration oder Neugestaltung die alten „robots.txt“-Regeln auf die neue Website zu übertragen, ohne sie zu überprüfen; eine Einschränkung, die auf der alten Website sinnvoll war, kann in der neuen Struktur auch wichtige Seiten betreffen.
Keine einheitliche Indexierungsrichtlinie für Seiten festlegen, die Paginierungs-, Filter- oder Sortierparameter erzeugen; wenn ein Teil dieser Seiten im Index verbleibt und ein anderer Teil ausgeschlossen wird, entsteht ein widersprüchliches Signal für die gesamte Website.
Die widersprüchliche Verwendung des Canonical-Tags und von „noindex“ auf derselben Seite; z. B. führt die Kennzeichnung einer Seite als „noindex“, während gleichzeitig eine andere Seite als kanonisch angegeben wird, zu widersprüchlichen Signalen.
Zu vergessen, dass eine einzige „robots.txt“-Datei für die gesamte Website ausreicht, und stattdessen zu versuchen, in Unterverzeichnissen separate Zugriffsbeschränkungen festzulegen; die „robots.txt“-Datei gilt nur für das Stammverzeichnis.
Im Bericht von Seoraporu.co werden widersprüchliche Signale wie „durch robots.txt blockiert, aber noindex vorhanden“ separat gekennzeichnet; wählen Sie nur eine der beiden Optionen aus, anstatt beide auf derselben Seite beizubehalten.