Kostenlose Crawler: Konkurrenz für Screaming Frog, Ryte & Co.?

Beitrag aus Ausgabe 79 / August 2019
SEO
Markus Hövener

ist Chefredakteur des Magazins suchradar und geschäftsführender Gesellschafter der SEO-/SEA-Agentur Bloofusion Germany.

Crawler sind im SEO-Alltag unverzichtbar – aber leider manchmal auch recht teuer. Was können denn die beiden kostenlosen Crawler SiteAnalyzer und Beam Us Up?

Eine SEO-Analyse ohne einen Crawl? Das würde wohl kein SEO machen wollen, denn viele Fehler und Potenziale lassen sich nur über ein Crawling-Tool effizient finden. Das Angebot an Tools ist relativ groß (Screaming Frog SEO Spider, DeepCrawl, Ryte, Sitebulb, Audisto …). Den professionellen Tools ist aber natürlich gemein, dass sie auch eine gewisse Investition benötigen. Gerade kleine Website-Betreiber wird das recht schnell abschrecken – und das, obwohl die Tools auch ihnen durchaus helfen könnten.

Wer kein Geld investieren möchte, kann z. B. auf die kostenlose Variante von Screaming Frog SEO Spider (www.screamingfrog.co.uk/seo-spider/) zurückgreifen. Diese bietet deutlich weniger Konfigurationsoptionen als die kostenpflichtige Version und ist vor allem auf maximal 500 URLs beschränkt.

Eine weitere Option stellt SISTRIX Smart (www.sistrix.de/smart/) dar. Dieses Tool ist sicherlich einen Blick wert – ist aber auch auf 1 000 URLs beschränkt.

Wer größere Websites crawlen möchte, muss aber trotzdem nicht unbedingt zum Geldbeutel greifen: So stehen mit SiteAnalyzer (site-analyzer.pro/) und Beam Us Up (beamusup.com/) zwei kostenlose und hinsichtlich der Crawl-Größe unbeschränkte Tools zur Verfügung.

Beide Tools werden nicht in der Cloud ausgeführt, sondern nutzen einfach den eigenen Rechner. Interessant ist, dass beide Tools nicht unbedingt installiert werden müssen. Man kann die beiden Crawler also auch einfach bequem von einem USB-Stick starten.

Eindruck

Beide Tools beherrschen die üblichen Basics. Wer also wissen möchte, welche Seitentitel zu lang und welche Meta-Descriptions zu kurz sind, kann das mit beiden Tools effizient erledigen. Hinsichtlich der Benutzeroberfläche sind gewisse Anleihen beim Screaming Frog SEO Spider nicht von der Hand zu weisen – vor allem beim SiteAnalyzer (siehe Abbildung 1 und 2). Das muss aber natürlich nicht nachteilig sein.

Beam Us Up scheint nicht mehr weiterentwickelt zu werden. Während auf der Website von SiteAnalyzer noch regelmäßig Blog-Beiträge geschrieben werden, stammt der letzte Beitrag auf beamus.com aus dem Mai 2017.

SiteAnalyzer stammt übrigens von russischen Entwicklern, was vor allem dadurch auffällt, dass es einige Funktionen für die russische Suchmaschine Yandex gibt. So kann man über den Tab „Indexing“ die Indexierung in Yandex prüfen – eine Funktion, die man im Westen natürlich eher nicht braucht.

Insgesamt ist SiteAnalyzer im Vergleich zu Beam Us Up das mächtigere Tool. So gibt es z. B. einen hreflang-Check für internationale Websites und eine PageRank-Berechnung für die interne Verlinkung. Wie in Abbildung 1 zu sehen ist, gibt es auch ein Feature, das dem „großen Vorbild“ Screaming Frog SEO Spider durchaus überlegen ist: So kann man direkt im SiteAnalyzer Filterkombinationen zusammenstellen und dann die Ergebnisse danach filtern. Das kann gerade bei bestimmten Fragestellungen durchaus praktisch sein.

Auch ist es mit dem SiteAnalyzer möglich, verschiedene Websites parallel im Tool vorzuhalten. Zwar kann man damit mehrere Websites nicht wirklich parallel crawlen, aber zumindest nacheinander. Zudem speichert das Tool die Crawls in einer Datenbank, sodass man darauf auch beim nächsten Programmstart wieder bequem zugreifen kann.

Im Vergleich zu den kostenpflichtigen Crawlern fehlen Beam Us Up und SiteAnalyzer natürlich Funktionen. So können beide Tools nicht mit JavaScript umgehen bzw. Websites rendern, sodass gerade bei JavaScript-lastigen Websites hier schnell Schluss ist. Und auch die vielfältigen Exportmöglichkeiten der großen Tools (vor allem Screaming Frog SEO Spider und Sitebulb) findet man bei den kostenlosen Varianten nur sehr rudimentär.

Fazit

Beide Tools sind gerade für Einsteiger und Gelegenheitsnutzer eine gute Wahl. Wer die komplexeren Funktionen der großen Tools nicht braucht, sollte sich vor allem den SiteAnalyzer einmal genauer ansehen.

Spannend? Dieser Artikel ist im suchradar #79 erschienen

Lesen Sie weitere spannende Artikel aus der Ausgabe „Personalisierung im Online-Marketing: Passgenau potentielle Kunden erreichen“! Entweder online oder als PDF-Magazin.

Kostenlos als PDF-Version Alle Artikel aus der Ausgabe ansehen