Screaming Frog SEO Spider: Der schnelle Einstieg

Beitrag aus Ausgabe 59 / April 2016
SEO
Markus Hövener

ist Chefredakteur des Magazins suchradar und geschäftsführender Gesellschafter der SEO-/SEA-Agentur Bloofusion Germany.

Schnell eine Website crawlen und Potenziale aufdecken – das verspricht der Screaming Frog SEO Spider. Für wen eignet sich das Tool? Und wie funktioniert es? Ein Überblick.

Mit dem Screaming Frog SEO Spider ist schon seit einigen Jahren ein Tool erhältlich, das innerhalb der SEO-Branche immer mehr zum Standard wird. Mit diesem Tool lässt sich eine Website „crawlen“, also Seite für Seite herunterladen, um dann auf der Basis der gewonnenen Daten Entscheidungen für Optimierungsmaßnahmen treffen zu können. Der Screaming Frog ist damit ein Konkurrent zu vielen On-Page-Diensten wie OnPage.org, Audisto oder DeepCrawl – mit dem Unterschied, dass man dieses Tool installieren muss, während viele andere Tools als „SaaS“ (Software as a Service) genutzt werden können.

Insgesamt richtet sich das Tool an Anwender, die grundlegendes SEO-Wissen mitbringen. Anders als Tools wie OnPage.org, die oftmals umfangreiche Hilfe-Abschnitte anbieten, entfällt dies beim Screaming Frog SEO Spider. Dieser liefert effizient Daten, man muss jedoch wissen, was genau gesucht wird.

Kostenlos oder kostenpflichtig?

Das Tool kann kostenlos heruntergeladen und auch begrenzt kostenlos genutzt werden. So gibt es im Crawl-Modus (nicht im List-Modus, siehe unten) ein Limit von 500 URLs. Wer dieses Limit aufheben und weitere Features erhalten möchte, muss Lizenzen zum Preis von 99 GBP pro Jahr und Nutzer einkaufen.

Die kostenpflichtige Version lohnt sich in der Regel sehr schnell – vor allem im Vergleich zu den Lizenzkosten der SaaS-Tools.

Drei Modi

Zu Beginn muss man wissen, dass es drei Modi gibt, in denen man das Tool nutzen kann. Im Crawl-Modus lädt der Screaming Frog SEO Spider eine bestimmte URL (z. B. die Startseite einer Website) herunter und folgt von dort aus allen weiteren Links. Je nach der Größe der Website kann man so also schon nach kurzer Zeit ein Abbild aller Seiten einer Website erhalten. Begrenzt wird dieses Abbild faktisch nur durch den Speicher des Computers, auf dem das Tool läuft. Standardmäßig werden 512 MB Speicher für den Crawl angefordert, was für ca. 30.000 URLs ausreicht. Wer mehr URLs crawlen möchte, kann den Speicher erweitern (http://www.screamingfrog.co.uk/seo-spider/user-guide/general/#6). Insgesamt lässt sich sagen, dass das Tool eine fünfstellige Seitenzahl noch recht gut verwalten kann. Wer aber große, sehr umfangreiche Websites crawlen möchte, sollte auf Tools wie Audisto zurückgreifen, die genau darauf spezialisiert sind.

Im List-Modus kann man dem Screaming Frog SEO Spider eine Liste mit URLs übergeben, die dann heruntergeladen werden. Wer also z. B. 20.000 Produktdetailseiten überprüfen möchte, kann die URLs dieser Seiten (z. B. kopiert aus der XML-Sitemap) an das Tool übergeben. Anders als beim Crawling-Mode werden dann genau diese 20.000 Seiten überprüft.

Es gibt noch einen weiteren Modus: den SERP-Modus. Diesen kann man nutzen, um Seitentitel und Meta-Descriptions auf ihre korrekte Länge zu überprüfen, um sicherzustellen, dass sie im Suchergebnis nicht abgeschnitten werden. In der Praxis wird dieser Modus allerdings wohl eher selten zum Einsatz kommen.

Crawler steuern

Wie bereits erwähnt wurde, versucht der Crawler im Crawl-Modus, die gesamte Website herunterzuladen. Dafür kann er weitgehend konfiguriert werden. So gibt es z. B. „Includes“ und „Excludes“, um bestimmte URLs vom Crawling auszuschließen oder diese explizit einzuschließen. Ein Beispiel: Wer als „Include“ den Ausdruck „.*/$“ angibt, weist den Crawler an, nur URLs zu crawlen, die mit einem Slash enden. Das kann man etwa nutzen, um in einem Online-Shop ausschließlich die Rubrikenseiten zu crawlen.

Es gibt jedoch noch viele weitere Optionen, z. B. um die Geschwindigkeit des Crawlers zu steuern. Manche leistungsschwachen Websites sind schnell überfordert, wenn man zeitgleich zu viele Seiten herunterlädt. In diesem Fall kann man die „Speed“-Optionen (siehe Abbildung 1) anpassen, was dazu führt, dass es insgesamt länger dauert, bis der Crawl abgeschlossen ist.

User Interface

Die Optik des gesamten Tools wirkt auf den ersten Blick etwas veraltet. In den Optionen (User Interface > Enable Windows Look and Feel) kann man die Optik ein wenig optimieren, aber am grundsätzlichen Konzept des Tools ändert das nur wenig.

Die Ergebnisse der jeweiligen Operation (Crawl, List oder SERP) werden grundsätzlich in Tabellenform angezeigt. Durch einen Klick auf eine Tabellenüberschrift kann man die Daten anhand dieser Spalte sortieren, was bei längeren Crawls schon einmal etwas länger dauern kann.

Eine typische Darstellung eines Crawls sieht man in Abbildung 2. Hier sollte sich jeder Nutzer am Anfang einen Überblick verschaffen, wo welche Daten abzurufen sind. Wie man gut erkennen kann, ist die Menge der angezeigten Daten sehr groß. Es ist also in jedem Fall hilfreich, die grundlegenden SEO-Konzepte wie Seitentitel und Meta-Description gut zu kennen.

Alle Daten lassen sich exportieren und beispielsweise in Excel weiterverarbeiten. Häufig ist schon die Kombination aus einem Tab wie „Page Titles“ und einem darunter befindlichen Filter wie „Missing“ hilfreich, um typische Probleme schnell aufzudecken und zu lösen (Beispiel: fehlende Seitentitel).

Was sieht man?

Tabelle 1 gibt einen Überblick über das, was sich mit dem Screaming Frog SEO Spider schnell und einfach erkennen lässt. Insgesamt ist spürbar, dass das Tool von SEO-Praktikern entwickelt wurde. Einige Limits sind zwar recht willkürlich gesetzt, z. B. wird die Grenze für „zu lange“ URLs bei 115 Zeichen gezogen; diese kann aber in den Voreinstellungen („Preferences“) geändert werden.

Spannend? Jetzt Artikel zu Ende lesen!

Lesen Sie den Artikel weiter in unserer suchradar Ausgabe 59 von April 2016 mit dem Titelthema „SEO-Analysen selber durchführen“.

Kostenloses PDF-Magazin bestellen Online weiterlesen? Einfach kostenlos für den Newsletter anmelden. Kostenpflichtiges Print-Abo bestellen