Damit eine Seite bei Google ranken kann, muss der Googlebot sie erst besuchen, lesen und indexieren. Bei einer kleinen Website passiert das fast nebenbei. Bei großen Projekten mit Zehntausenden oder Millionen URLs wird die Frage interessant, wie lange Google überhaupt braucht, um alles zu erfassen. Genau das beschreibt das Crawl-Budget.
Was ist das Crawl-Budget?
Das Crawl-Budget ist die Anzahl an URLs, die der Googlebot in einem bestimmten Zeitraum auf deiner Website abruft. Google selbst beschreibt es als Zusammenspiel zweier Faktoren:
- Crawl-Rate-Limit (Crawl Capacity): Wie viele Anfragen verträgt dein Server, ohne langsam zu werden? Reagiert die Seite schnell und fehlerfrei, erhöht Google die Crawl-Rate. Häufen sich Timeouts oder 5xx-Fehler, drosselt Google den Bot, um den Server zu schonen.
- Crawl-Bedarf (Crawl Demand): Wie wichtig und wie aktuell ist eine URL? Beliebte, oft aktualisierte Seiten werden häufiger besucht, vergessene oder unwichtige Seiten seltener.
Das Crawl-Budget ist für die meisten kleinen und mittleren Seiten kein Problem. Relevant wird es ab etwa zehntausend URLs, bei häufig wechselnden Inhalten oder bei vielen automatisch erzeugten Seiten wie Filter- und Sortierparametern.
Wie lange braucht Google für meine Website?
Eine grobe Rechnung hilft, das einzuschätzen: Teile die Gesamtzahl deiner URLs durch die Zahl der pro Tag gecrawlten Seiten. Bei 50.000 URLs und einer Crawl-Rate von 2.000 Seiten pro Tag braucht Google rein rechnerisch 25 Tage für einen vollständigen Durchlauf. Mit dem Crawl Budget Rechner gibst du URL-Anzahl und tägliche Crawl-Rate ein und bekommst diese Schätzung sofort, statt sie von Hand zu überschlagen.
Die tatsächliche Crawl-Rate liest du in der Google Search Console unter den Crawling-Statistiken ab. Sie zeigt dir, wie viele Anfragen der Googlebot pro Tag stellt und wie schnell dein Server antwortet.
Crawl-Budget verschwenden, ohne es zu merken
Viele Websites verbrennen ihr Budget an URLs, die gar nicht in den Index sollen. Typische Budgetfresser sind:
- Endlose Parameter-URLs aus Filtern, Sortierungen und Session-IDs, die dieselben Inhalte in tausend Varianten erzeugen.
- Duplicate Content über mehrere URLs hinweg, der den Bot beschäftigt, ohne neuen Wert zu liefern.
- Weiche 404er und Redirect-Ketten, die jede Menge Anfragen kosten, ohne ein Ziel zu erreichen.
- Tief verschachtelte Seiten, die nur über viele Klicks erreichbar sind und daher selten besucht werden.
So optimierst du dein Crawl-Budget
Das Ziel ist, dem Googlebot die wichtigen Seiten leicht und schnell erreichbar zu machen und ihn von unwichtigen fernzuhalten:
- robots.txt nutzen: Sperre Bereiche, die nicht gecrawlt werden müssen. Eine saubere robots.txt erstellst du schnell mit dem robots.txt Generator.
- Saubere Sitemap pflegen: Eine aktuelle XML-Sitemap weist Google direkt auf die relevanten URLs hin.
- Servergeschwindigkeit verbessern: Je schneller die Antwortzeit, desto höher die Crawl-Rate, die Google sich erlaubt.
- Interne Verlinkung stärken: Wichtige Seiten näher an die Startseite rücken, damit sie häufiger besucht werden.
Mit dem Crawl Budget Rechner kannst du nach jeder Aufräumaktion neu durchspielen, wie sich die geringere URL-Zahl oder die höhere Crawl-Rate auf die Durchlaufzeit auswirkt. Weitere SEO-Werkzeuge für Sitemaps, Meta-Robots und Redirects findest du in der Webtools-Übersicht.
Fazit
Crawl-Budget ist kein Ranking-Faktor, aber eine Voraussetzung dafür, dass deine Inhalte überhaupt zeitnah im Index landen. Wer seine URL-Struktur schlank hält, den Server schnell macht und unwichtige Seiten konsequent vom Crawling ausschliesst, sorgt dafür, dass Google seine Zeit auf den Seiten verbringt, die wirklich zählen.