Screaming Frog SEO Spider: Der schnelle Einstieg

Beitrag aus Ausgabe 59 / April 2016
SEO
Markus Hövener

ist Chefredakteur des Magazins suchradar und geschäftsführender Gesellschafter der SEO-/SEA-Agentur Bloofusion Germany.

Schnell eine Website crawlen und Potenziale aufdecken – das verspricht der Screaming Frog SEO Spider. Für wen eignet sich das Tool? Und wie funktioniert es? Ein Überblick.

Mit dem Screaming Frog SEO Spider ist schon seit einigen Jahren ein Tool erhältlich, das innerhalb der SEO-Branche immer mehr zum Standard wird. Mit diesem Tool lässt sich eine Website „crawlen“, also Seite für Seite herunterladen, um dann auf der Basis der gewonnenen Daten Entscheidungen für Optimierungsmaßnahmen treffen zu können. Der Screaming Frog ist damit ein Konkurrent zu vielen On-Page-Diensten wie OnPage.org, Audisto oder DeepCrawl – mit dem Unterschied, dass man dieses Tool installieren muss, während viele andere Tools als „SaaS“ (Software as a Service) genutzt werden können.

Insgesamt richtet sich das Tool an Anwender, die grundlegendes SEO-Wissen mitbringen. Anders als Tools wie OnPage.org, die oftmals umfangreiche Hilfe-Abschnitte anbieten, entfällt dies beim Screaming Frog SEO Spider. Dieser liefert effizient Daten, man muss jedoch wissen, was genau gesucht wird.

Kostenlos oder kostenpflichtig?

Das Tool kann kostenlos heruntergeladen und auch begrenzt kostenlos genutzt werden. So gibt es im Crawl-Modus (nicht im List-Modus, siehe unten) ein Limit von 500 URLs. Wer dieses Limit aufheben und weitere Features erhalten möchte, muss Lizenzen zum Preis von 99 GBP pro Jahr und Nutzer einkaufen.

Die kostenpflichtige Version lohnt sich in der Regel sehr schnell – vor allem im Vergleich zu den Lizenzkosten der SaaS-Tools.

Drei Modi

Zu Beginn muss man wissen, dass es drei Modi gibt, in denen man das Tool nutzen kann. Im Crawl-Modus lädt der Screaming Frog SEO Spider eine bestimmte URL (z. B. die Startseite einer Website) herunter und folgt von dort aus allen weiteren Links. Je nach der Größe der Website kann man so also schon nach kurzer Zeit ein Abbild aller Seiten einer Website erhalten. Begrenzt wird dieses Abbild faktisch nur durch den Speicher des Computers, auf dem das Tool läuft. Standardmäßig werden 512 MB Speicher für den Crawl angefordert, was für ca. 30.000 URLs ausreicht. Wer mehr URLs crawlen möchte, kann den Speicher erweitern (http://www.screamingfrog.co.uk/seo-spider/user-guide/general/#6). Insgesamt lässt sich sagen, dass das Tool eine fünfstellige Seitenzahl noch recht gut verwalten kann. Wer aber große, sehr umfangreiche Websites crawlen möchte, sollte auf Tools wie Audisto zurückgreifen, die genau darauf spezialisiert sind.

Im List-Modus kann man dem Screaming Frog SEO Spider eine Liste mit URLs übergeben, die dann heruntergeladen werden. Wer also z. B. 20.000 Produktdetailseiten überprüfen möchte, kann die URLs dieser Seiten (z. B. kopiert aus der XML-Sitemap) an das Tool übergeben. Anders als beim Crawling-Mode werden dann genau diese 20.000 Seiten überprüft.

Es gibt noch einen weiteren Modus: den SERP-Modus. Diesen kann man nutzen, um Seitentitel und Meta-Descriptions auf ihre korrekte Länge zu überprüfen, um sicherzustellen, dass sie im Suchergebnis nicht abgeschnitten werden. In der Praxis wird dieser Modus allerdings wohl eher selten zum Einsatz kommen.

Crawler steuern

Wie bereits erwähnt wurde, versucht der Crawler im Crawl-Modus, die gesamte Website herunterzuladen. Dafür kann er weitgehend konfiguriert werden. So gibt es z. B. „Includes“ und „Excludes“, um bestimmte URLs vom Crawling auszuschließen oder diese explizit einzuschließen. Ein Beispiel: Wer als „Include“ den Ausdruck „.*/$“ angibt, weist den Crawler an, nur URLs zu crawlen, die mit einem Slash enden. Das kann man etwa nutzen, um in einem Online-Shop ausschließlich die Rubrikenseiten zu crawlen.

Es gibt jedoch noch viele weitere Optionen, z. B. um die Geschwindigkeit des Crawlers zu steuern. Manche leistungsschwachen Websites sind schnell überfordert, wenn man zeitgleich zu viele Seiten herunterlädt. In diesem Fall kann man die „Speed“-Optionen (siehe Abbildung 1) anpassen, was dazu führt, dass es insgesamt länger dauert, bis der Crawl abgeschlossen ist.

User Interface

Die Optik des gesamten Tools wirkt auf den ersten Blick etwas veraltet. In den Optionen (User Interface > Enable Windows Look and Feel) kann man die Optik ein wenig optimieren, aber am grundsätzlichen Konzept des Tools ändert das nur wenig.

Die Ergebnisse der jeweiligen Operation (Crawl, List oder SERP) werden grundsätzlich in Tabellenform angezeigt. Durch einen Klick auf eine Tabellenüberschrift kann man die Daten anhand dieser Spalte sortieren, was bei längeren Crawls schon einmal etwas länger dauern kann.

Eine typische Darstellung eines Crawls sieht man in Abbildung 2. Hier sollte sich jeder Nutzer am Anfang einen Überblick verschaffen, wo welche Daten abzurufen sind. Wie man gut erkennen kann, ist die Menge der angezeigten Daten sehr groß. Es ist also in jedem Fall hilfreich, die grundlegenden SEO-Konzepte wie Seitentitel und Meta-Description gut zu kennen.

Alle Daten lassen sich exportieren und beispielsweise in Excel weiterverarbeiten. Häufig ist schon die Kombination aus einem Tab wie „Page Titles“ und einem darunter befindlichen Filter wie „Missing“ hilfreich, um typische Probleme schnell aufzudecken und zu lösen (Beispiel: fehlende Seitentitel).

Was sieht man?

Tabelle 1 gibt einen Überblick über das, was sich mit dem Screaming Frog SEO Spider schnell und einfach erkennen lässt. Insgesamt ist spürbar, dass das Tool von SEO-Praktikern entwickelt wurde. Einige Limits sind zwar recht willkürlich gesetzt, z. B. wird die Grenze für „zu lange“ URLs bei 115 Zeichen gezogen; diese kann aber in den Voreinstellungen („Preferences“) geändert werden.

Bereich

Was kann man damit finden?

HTTP-Code

Alle Codes wie Redirect (3xx), „Nicht gefunden“ (4xx) und „Server-Fehler“ (5xx)

URL

Nutzung von Nicht-ASCII-Zeichen (wie Umlaute), zu lange URLs, Nutzung von Großbuchstaben in URLs, Unterstriche in URLs

Seitentitel

Fehlende Seitentitel, Seitentitel nicht unique, zu kurz/lang, Seitentitel = <h1>, mehrere Seitentitel auf einer Seite

Meta-Description

Fehlende Meta-Descriptions, Meta-Descriptions nicht unique, zu kurz/lang, mehrere Meta-Descriptions auf einer Seite

h1, h2

Fehlende h1/h2, h1/h2 nicht unique, zu lang, mehrere h1/h2 auf einer Seite

Bilder

Bilddateien zu groß (>100 kB), ohne Alt-Tag, mit zu langem Alt-Tag

Robots-Meta-Tag

Es kann gezielt nach bestimmten Tags wie „noindex“ oder „noodp“ gesucht werden.

Canonical Tag

Welche Seiten haben ein Tag? Welche haben keines? Wo passt es nicht zur URL (Mismatch)?

Klicktiefe

Die Klicktiefe wird für alle Seiten gespeichert (wie viele Klicks ist eine Seite von der Startseite entfernt?). Gezielt danach filtern kann man nicht, aber es gibt eine hilfreiche Übersicht über die Klicktiefen.

Dokument-Typ

Es kann gezielt nach Nicht-HTML-Inhalten (PDF, Flash, ...) gesucht werden.

Externe Links

Im Tab „External URLs“ werden alle externen Links dargestellt, um so z. B. zu prüfen, ob auf potenziell schädliche Seiten (wie Porno-Websites) verlinkt wird.

Wort-Anzahl

Zu jeder Seite wird auch die Wort-Anzahl vermerkt. Diese Angebe ist allerdings mit Vorsicht zu genießen, da es sich hierbei um die gesamte Anzahl von Wörtern auf der Seite handelt – Wörter in Navigationsbereichen zählen also dazu. Wer wissen möchte, wie viele Wörter es im Text gibt, muss anhand einer textleeren Seite zunächst messen, wie viele Wörter auf die Navigation entfallen.

Eingehende Links, ausgehende Links

Um Potenziale für die Optimierung der internen Verlinkung zu finden, kann man auf diese Daten zurückgreifen: Wie viele eingehende/ausgehende Verlinkungen hat eine bestimmte Seite?

Ladezeit

Die Ladezeit einer Seite wird in vollen Sekunden erfasst – und ist damit leider oftmals unbrauchbar.

Tabelle 1: Was kann man mit dem Screaming Frog SEO Spider erkennen?

Es gibt einige weitere Bereiche wie „Custom“, „Analytics“ oder „Search Console“, die in den folgenden beiden Artikeln näher beschrieben werden. Damit ist es möglich, den Screaming Frog SEO Spider noch weiter auszubauen, um bestimmte Daten aus Seiten zu ermitteln und um den Crawl mit Daten aus Google Analytics und der Search Console anzureichern.

Fazit

Der Screaming Frog SEO Spider ist ein sehr effizientes Tool für Online-Marketer, die eine Website in Bezug auf bestimmte Parameter analysieren möchten. Im Vergleich zu gängigen Saas-On-Page-Tools ist der Screaming Frog SEO Spider nicht allzu intuitiv und auch nicht besonders gut darin, die Daten schnell und übersichtlich aufzubereiten. Dennoch bietet sich das Tool – vor allem aufgrund der vielfältigen Konfigurationsmöglichkeiten – an, um Websites oder Listen von URLs zu überprüfen.

Spannend? Dieser Artikel ist im suchradar #59 erschienen

Lesen Sie weitere spannende Artikel aus der Ausgabe „SEO-Analysen selber durchführen“! Entweder online oder als PDF-Magazin.

Kostenlos als PDF-Version Alle Artikel aus der Ausgabe ansehen