In der Welt des Onpage-SEO führt kaum ein Weg an Screaming Frog SEO Spider vorbei. Das Desktop-Programm des britischen Unternehmens Screaming Frog Ltd. crawlt Webseiten wie ein Suchmaschinenbot und liefert in Minuten eine vollständige Bestandsaufnahme aller SEO-relevanten Elemente. Defekte Links, doppelte Meta-Descriptions, fehlende Alt-Texte, Redirect-Ketten – Screaming Frog findet sie alle und stellt sie übersichtlich dar.
Was ist Screaming Frog SEO Spider?
Der SEO Spider ist ein Desktop-Crawler, der für Windows, macOS und Ubuntu verfügbar ist. Anders als cloudbasierte Tools läuft er lokal auf dem eigenen Rechner und unterliegt damit keinen serverseitigen Ratenbeschränkungen. Das Programm folgt allen internen und externen Links einer Webseite, analysiert HTTP-Statuscodes, Meta-Tags, Überschriften, Bilder, strukturierte Daten und mehr – und exportiert die Ergebnisse als CSV oder Excel.
Screaming Frog wurde 2010 veröffentlicht und ist seitdem das bevorzugte Tool professioneller SEO-Agenturen weltweit. Die Kombination aus Tiefe, Geschwindigkeit und Exportierbarkeit macht es einzigartig.
Kostenlos vs. Lizenz: Die Unterschiede
| Feature | Free Version | Paid Lizenz (259 $/Jahr) |
|---|---|---|
| Crawl-Limit | 500 URLs | unbegrenzt |
| JavaScript-Rendering | nein | ja (Chromium) |
| Google Analytics-Integration | nein | ja |
| Search Console-Integration | nein | ja |
| PageSpeed-Metriken | nein | ja |
| Custom Extraction (XPath) | nein | ja |
| Spelling & Grammar Check | nein | ja |
| Crawl-Vergleiche | nein | ja |
Erste Website crawlen – so geht es
Nach dem Start von Screaming Frog gibt man die Ziel-URL in das Eingabefeld oben ein und klickt auf „Start". Das Tool beginnt sofort, alle verlinkten Unterseiten zu besuchen. Für große Webseiten mit tausenden URLs empfiehlt es sich, unter „Configuration → Spider" den Crawl zu verfeinern: Subdomains aus- oder einschließen, externe Links ignorieren, bestimmte URL-Muster via Regex ausschließen.
Die wichtigsten Berichte im Überblick
Screaming Frog gliedert seine Ergebnisse in Tabs, die jeweils einen Aspekt des Crawls abdecken:
| Tab | Was wird analysiert? | Häufige Probleme |
|---|---|---|
| Response Codes | HTTP-Statuscodes aller URLs | 404-Fehler, 301/302-Redirects, 500-Serverfehler |
| Page Titles | Title-Tag jeder Seite | Fehlend, doppelt, zu lang (>60 Zeichen) oder zu kurz |
| Meta Description | Meta-Beschreibungen | Fehlend, doppelt, zu lang (>160 Zeichen) |
| H1 | Hauptüberschriften | Fehlend, mehrfach vorhanden, identisch mit Title |
| Images | Bildressourcen | Fehlender Alt-Text, zu große Dateigröße, defekte Bildpfade |
| Canonicals | Canonical-Tags | Self-referencing fehlt, falsche Canonical-Ziele |
| Directives | Robots-Meta und X-Robots | Versehentliches noindex auf wichtigen Seiten |
Defekte Links finden und beheben
Im Tab „Response Codes" filtert man nach dem Statuscode 404 (Not Found). Screaming Frog zeigt nicht nur die defekte URL, sondern auch alle Seiten, die darauf verlinken (über den Tab „Inlinks" am unteren Fensterrand). So lassen sich fehlerhafte interne Links schnell lokalisieren und korrigieren. Für externe defekte Links zeigt der Tab „External" alle ausgehenden Links inklusive ihres Statuscodes.
Duplicate Content identifizieren
Der Tab „Duplicate Content" listet alle Seiten auf, die identische oder nahezu identische Inhalte haben – gemessen am Hash des Seiteninhalts. Besonders kritisch sind doppelte Title-Tags und Meta-Descriptions, da sie Suchmaschinen verunsichern und Keyword-Kannibalisierung fördern können. Screaming Frog berechnet außerdem Near Duplicates anhand einer Ähnlichkeitsanalyse.
Redirect-Ketten analysieren
Redirect-Ketten entstehen, wenn eine URL mehrmals weitergeleitet wird, bevor sie beim Ziel ankommt: URL A → URL B → URL C. Jeder zusätzliche Redirect kostet Ladezeit und schwächt die Weitergabe von Link Equity. Im Tab „Response Codes" filtert man nach „Redirect Chains" und sieht sofort, welche URLs vereinfacht werden müssen.
Integration mit Google Analytics und Search Console
In der kostenpflichtigen Version kann Screaming Frog direkt mit Google Analytics und der Search Console verbunden werden. Dadurch werden Crawl-Daten mit Traffic-Daten verknüpft: Man sieht, welche gecrawlten URLs organischen Traffic erhalten, welche Seiten trotz Indexierung keine Klicks generieren und welche Keywords die Seiten ranken. Das ermöglicht eine deutlich priorisierte Onpage-Optimierung.
Screaming Frog vs. Sitebulb vs. Ahrefs Site Audit
| Kriterium | Screaming Frog | Sitebulb | Ahrefs Site Audit |
|---|---|---|---|
| Betrieb | Desktop (lokal) | Desktop (lokal) | Cloud |
| Preis | 259 $/Jahr | 13,50 $/Monat | ab 129 $/Monat |
| Visualisierungen | gut | sehr gut | gut |
| JavaScript-Rendering | ja (Paid) | ja | ja |
| Backlink-Daten | nein | nein | ja (Ahrefs-DB) |
| API | ja (Paid) | nein | ja |
| Lernkurve | mittel | gering | gering |
Externe Ressourcen
- Screaming Frog – Offizielle Website
- Screaming Frog User Guide
- Sitebulb – Alternative mit visueller Auswertung
- Ahrefs Site Audit – Cloud-basierter Crawler
Häufig gestellte Fragen
- Kann Screaming Frog JavaScript-gerenderte Seiten crawlen?
- Ja, aber nur in der kostenpflichtigen Version. Unter „Configuration → Spider → Rendering" lässt sich „JavaScript" aktivieren. Screaming Frog öffnet dann Seiten mit einem integrierten Chromium-Browser und analysiert das DOM nach JavaScript-Ausführung. Das ist besonders wichtig für Single-Page-Applications oder Seiten, die Inhalte dynamisch nachladen.
- Wie gehe ich mit sehr großen Websites um (100.000+ URLs)?
- Für sehr große Seiten empfiehlt sich der Einsatz von Crawl-Limits und URL-Filterregeln. Mit der Custom-Robots-txt-Option kann man auch nur bestimmte Verzeichnisse crawlen. Außerdem sollte man Screaming Frog auf einem Rechner mit ausreichend RAM betreiben – pro 100.000 URLs werden mindestens 4–8 GB Arbeitsspeicher empfohlen. Crawl-Daten können als gespeicherte Projekte gesichert werden.
- Stört das Crawlen den Live-Betrieb der Website?
- In der Standardkonfiguration sendet Screaming Frog mehrere Anfragen pro Sekunde, was bei kleinen Servern spürbar sein kann. Unter „Configuration → Speed" lässt sich die Anzahl gleichzeitiger Threads reduzieren. Außerdem sollte die Option „Respect Crawl Delay" aktiviert werden, um die in der robots.txt definierte Wartezeit zu respektieren. Am besten crawlt man in Zeiten geringer Serverauslastung.
- Wie exportiere ich die Ergebnisse für einen Kunden-Report?
- Über das Menü „Bulk Export" lassen sich alle wichtigen Berichte mit einem Klick als CSV exportieren: Alle URLs, Response Codes, Page Titles, Meta Descriptions, H1s, Images und mehr. Diese Exporte können direkt in Excel oder Google Sheets weiterverarbeitet werden. Alternativ generiert Screaming Frog über „Reports" auch fertige Berichte wie Redirect Chains, Duplicate Content oder Hreflang-Errors.