Nicht jede Seite einer Website soll in den Suchergebnissen auftauchen. Danke-Seiten, interne Suchergebnisse, Druckversionen oder Filterseiten gehören meist nicht in den Google-Index. Genau hier kommt das Meta-Robots-Tag ins Spiel – ein kleiner HTML-Schnipsel mit großer Wirkung auf die Sichtbarkeit deiner Seiten. Dieser Ratgeber erklärt, wie es funktioniert und welche Direktiven du kennen solltest.
Was das Meta-Robots-Tag macht
Das Meta-Robots-Tag ist eine Anweisung im <head>-Bereich einer HTML-Seite, die Suchmaschinen-Crawlern sagt, wie sie mit dieser konkreten Seite umgehen sollen. Es steuert zwei grundsätzliche Dinge: ob die Seite indexiert (in die Suchergebnisse aufgenommen) werden darf und ob den Links auf der Seite gefolgt werden soll. Ein typisches Tag sieht so aus:
<meta name="robots" content="index, follow">– Seite indexieren, Links folgen (Standardverhalten).<meta name="robots" content="noindex, follow">– Seite nicht indexieren, Links aber folgen.<meta name="robots" content="noindex, nofollow">– Seite weder indexieren noch Links folgen.
Wer das passende Tag nicht von Hand schreiben will, nutzt den Meta Robots Generator: Du wählst per Klick die gewünschten Direktiven aus und bekommst das fertige Tag zum Kopieren in den Quelltext.
Die wichtigsten Direktiven im Detail
index und noindex
index erlaubt der Suchmaschine, die Seite in den Suchindex aufzunehmen – das ist die Standardeinstellung und muss eigentlich nie explizit gesetzt werden. Spannender ist noindex: Es weist Crawler an, die Seite nicht in den Suchergebnissen anzuzeigen. Ideal für Seiten ohne Mehrwert für Suchende, etwa Warenkorb-Seiten, Login-Bereiche oder doppelte Inhalte.
follow und nofollow
follow bedeutet, dass der Crawler den Links auf der Seite folgt und sie weiterverfolgt. nofollow unterbindet das für alle Links der Seite. In der Praxis kombiniert man oft noindex, follow: Die Seite selbst soll nicht in den Index, aber die von ihr verlinkten Seiten sollen weiter entdeckt werden.
Weitere nützliche Werte
- noarchive: Verhindert, dass Suchmaschinen eine zwischengespeicherte Kopie der Seite anbieten.
- nosnippet: Unterdrückt die Anzeige eines Textausschnitts in den Suchergebnissen.
- noimageindex: Verhindert, dass Bilder der Seite in die Bildersuche aufgenommen werden.
- max-snippet, max-image-preview: Begrenzen Länge bzw. Größe der Vorschau in den Suchergebnissen.
Meta-Robots vs. robots.txt
Ein häufiger Denkfehler: robots.txt und das Meta-Robots-Tag machen nicht dasselbe. Die robots.txt steuert das Crawling – also ob ein Bot eine Seite überhaupt aufrufen darf. Das Meta-Robots-Tag steuert die Indexierung – ob eine aufgerufene Seite in den Index darf.
Wichtig: Sperrst du eine Seite per robots.txt vom Crawling aus, kann Google das noindex-Tag gar nicht erst lesen, weil der Bot die Seite nicht öffnet. Soll eine Seite zuverlässig aus dem Index verschwinden, muss sie crawlbar bleiben und ein noindex tragen. Wer eine robots.txt braucht, kann diese mit dem robots.txt Generator erstellen.
Typische Anwendungsfälle
- Danke- und Bestätigungsseiten:
noindex, follow– kein Mehrwert in der Suche, Links sollen aber zählen. - Interne Suchergebnisseiten:
noindex, nofollow– produzieren beliebig viele dünne Seiten. - Paginierte Übersichten: oft
index, follow, kombiniert mit sauberen Canonical-Angaben. - Staging- und Testumgebungen:
noindex, nofollowauf jeder Seite, damit nichts versehentlich gelistet wird.
Häufige Fehler vermeiden
Der gefährlichste Fehler ist ein versehentliches noindex auf wichtigen Seiten – etwa wenn eine Testeinstellung in die Live-Umgebung gerät und plötzlich die ganze Website aus dem Index fällt. Kontrolliere nach jedem Relaunch, ob deine Kernseiten indexierbar sind. Hilfreich sind dabei der Canonical Tag Generator für saubere kanonische URLs und die weiteren SEO-Helfer in den Webtools.
Häufige Fragen
Brauche ich überhaupt ein index-Tag?
Nein. Ohne Meta-Robots-Tag gehen Suchmaschinen automatisch von index, follow aus. Das Tag ist nur dann nötig, wenn du vom Standardverhalten abweichen willst, also etwa noindex setzen möchtest.
Wie schnell wirkt ein noindex?
Sobald Google die Seite erneut crawlt und das noindex liest, entfernt es sie aus dem Index. Das kann von wenigen Tagen bis zu mehreren Wochen dauern, je nachdem wie häufig deine Seite gecrawlt wird. Über die Google Search Console lässt sich die Entfernung beschleunigen.
Kann ich Anweisungen für einzelne Suchmaschinen geben?
Ja. Statt name="robots" kannst du gezielt einzelne Bots ansprechen, etwa name="googlebot". So lassen sich für verschiedene Crawler unterschiedliche Regeln definieren, was in der Praxis aber selten nötig ist.