- Werbung - Hier Werbung schalten -

suchradar.de > Magazin > Archiv > Ausgabe 24 > On-Page-Checkliste für die Startseite

SEO in Action:
Große Datenmengen für Crawler verfügbar machen

Die drei großen sozialen Netzwerke XING, LinkedIn und Facebook verfügen über Millionen von Seiten. Wir werfen einen Blick auf die Frage, wie Suchmaschinen diese Inhalte eigentlich effizient erreichen können. Von Markus Hövener.

Die wenigsten Websites haben Tausende, Hunderttausende oder gar Millionen Seiten. Und wenn man doch so viele hat? Wie schafft es der Website-Betreiber, möglichst viele dieser Seiten in den Index der Suchmaschinen zu bekommen? Kann eine Suchmaschine überhaupt alle diese Seiten indexieren?

Dafür ist es zunächst einmal wichtig, dass man versteht, warum es für Suchmaschinen manchmal schwierig ist, riesige Website korrekt zu erfassen. Damit Suchmaschinen-Crawler alle Seiten erreichen können, muss es einen Klick-Pfad geben, also eine Folge von internen Links. Der Crawler beginnt dabei meist auf der Startseite einer Website und folgt allen Verweisen in die Tiefe. Bei "normalen" Websites ist das kein Problem: So verlinkt die Startseite auf eine Seite wie "Lösungen", die wiederum auf "Software-Produkte" verweist und die Seite dann auf alle Produktseiten.

Bei größeren Websites ist das aber nicht so einfach - vor allem aus zwei Gründen:

1. Es gibt vielleicht nicht unbedingt einen Klick-Pfad für jede relevante Seite. Das kann z.B. passieren, wenn es eine Profilseite für ein Mitglied gibt, das keine Verbindungen mit anderen Mitgliedern hat.
2. Es gibt zwar einen Klick-Pfad, aber dieser ist viel zu lang. Das führt dann oft dazu, dass eine solche Seite viel zu wenig internes Linkgewicht erhält und nicht mehr indexiert wird.

Es gibt natürlich immer Ausnahmen. So wird Google beim so genannten "Discovery" immer besser und nutzt immer mehr Methoden, um relevante Seiten zu finden. Wer beispielsweise die Google Toolbar in seinem Browser benutzt und damit innerhalb einer Website eine nicht verlinkte Seite besucht, kann so manchmal dafür sorgen, dass Google diese trotzdem erfasst. Es kann aber auch passieren, dass eine bestimmte Seite von außen angelinkt wird. Oder dass jemand eine Seite in einem Tweet erwähnt hat.

Im Folgenden ignorieren wir diese Ausnahmen aber, um diese Betrachtungen nicht unnötig kompliziert zu machen. Wenn man diese Ausnahmen ignoriert, bleibt vor allem ein Mantra übrig: Ein Website-Betreiber muss sicherstellen, dass ein Crawler auf "regulärem Weg" zielgerichtet an alle Seiten gelangen kann.

Problemstellung

Bei Websites wie XING, Facebook oder LinkedIn ist aber genau das ein Problem. Es gibt hier Millionen von Profil-, Event-, Gruppen- und sonstigen Seiten, die idealerweise von Crawlern erfasst werden müssen.

Dabei sollte man nicht darauf hoffen, dass Suchmaschinen schon irgendwie an die Daten herankommen. Oftmals ist es bei derartigen Plattformen ja so, dass eine Seite X auf andere Seiten verlinkt. Sie heißen schließlich nicht umsonst "Soziale Netzwerke". Wenn X etwa die Profilseite einer Person ist, würde diese in der Regel auch mit anderen Profilseiten verknüpft sein. Was passiert aber, wenn eine Person nur wenige Verbindungen aufgebaut hat? Wie lang ist dann der Klick-Pfad zu einer solchen Seite?

Die drei Websites, die wir diesmal für "SEO in Action" analysiert haben, wollten das jedenfalls nicht dem Zufall überlassen und haben Strukturen aufgebaut, die primär einem Suchmaschinen-Crawler helfen, an alle relevanten Seiten zu gelangen. Dabei stellt sich natürlich immer die Frage: Kann man von diesen Strukturen etwas lernen? Und kann man es vielleicht sogar besser machen?
XING

XING wählt eine recht klassische Methode. Auf der Startseite befinden sich alle Buchstaben von A-Z, die auf Unterseiten wie http://www.xing.com/de/directories/people/a/ (für den Buchstaben "A") verlinken.

Diese Unterseiten wiederum verweisen auf andere, auf denen man einen zweiten Buchstaben auswählen kann. Auf http://www.xing.com/de/directories/people/a/ hat man dann also Links von "Aa" bis "Az" (z. B. http://www.xing.com/de/directories/people/a/al/ für "AL").

Hier wiederum werden alle Nachnamen aufgeführt, die mit diesen zwei Buchstaben beginnen (die Seite für "AL" listet dann u. a. "Albers" oder "Albrecht"). XING präsentiert hier jeweils 20 Namen pro Seite. Alle weiteren Einträge findet man dann über eine Paginierung, die aber suboptimal umgesetzt ist: Besonders wenn es sehr viele Nachnamen zu einer Buchstabenkombination gibt, liegen diese Seiten unnötig tief. Im Zweifelsfall kann es passieren, dass Crawler einige Unterseiten nicht mehr erfassen. Da die Liste alphabetisch sortiert ist, hat ein Nachname wie "Albrecht" deutlich bessere Chancen indexiert zu werden als "Altendorn". Wie man es besser machen könnte, haben wir in suchradar Ausgabe 23 ab Seite 23 erklärt.

Wer nun einem Namen anklickt gelangt noch eine Ebene tiefer. Hier sieht man dann für den konkreten Nachnamen (wie auf http://www.xing.com/de/directories/people/a/al/albrecht-5d88a57142e5a48e8bf24840d07e8f32/ für alle Personen mit Nachnamen "Albrecht") alle Vornamen zu diesem Nachnamen. Wenn es eine Kombination aus Vor- und Nachnamen nur einmal gibt, wird von dort direkt auf die Profilseite verlinkt. Falls nicht, wird noch eine weitere Übersicht zwischengeschaltet (z. B. http://www.xing.com/de/directories/people/a/al/albrecht-5d88a57142e5a48e8bf24840d07e8f32/0/ für alle "Alexander Albrecht").
Insgesamt also ein sehr komplexer Aufbau. Interessant ist hier, das XING auf den oberen Seiten einen Link-Block namens "Most common last names starting with A" hat, der die gängigsten Namen anzeigt und so mehr Linkgewicht auf die häufigsten (und damit wohl auch konkurrenzstärksten) Namen (bzw. deren Seiten) lenkt.

Anscheinend gibt es bei XING aber derzeit nur ein einziges Verzeichnis, und zwar das für Personen. Für andere Konzepte wie Events und Gruppen scheint es derartige Strukturen derzeit nicht zu geben.

LinkedIn

LinkedIn hat dagegen gleich drei Verzeichnisbäume aufgebaut, die vom Footer aus verlinkt werden: Stellenverzeichnis, Unternehmensverzeichnis und Dienstleister-Verzeichnis.

Der Aufbau ist dabei relativ ähnlich - aber es gibt doch einen grundlegenden Unterschied zur Struktur bei XING. Die Strukturen werden nicht nicht nur dafür genutzt, um Crawler auf alle Inhalte zu leiten, sondern auch, um auf Suchbegriffe abzuzielen.

So verlinkt das Stellenverzeichnis (http://www.linkedin.com/directory/jobs/) auf die Seite "Strategy Planning Jobs" (http://www.linkedin.com/directory/jobs/strategy-planning.html) und diese Seite wiederum auf lokale Unterseiten wie "Strategy Planning Jobs in San Diego" (http://www.linkedin.com/jobs/in-Strategy-Planning-San-Diego/stra-us-732). Auch wenn diese derzeit keine eigenständigen Inhalte haben und "nur" andere Objekte auflisten, zeigen sie z. T. sehr gute Rankings (z. B. für "strategy planning jobs in san diego"). Durch die enorme Vielzahl an Seiten und dazugehörigen Suchbegriffe schlägt man dementsprechend leicht zwei Fliegen mit einer Klappe.

Facebook

Auch Facebook baut drei Verzeichnisse auf: Personen (http://de-de.facebook.com/directory/people/), Seiten (http://de-de.facebook.com/directory/pages/) und Gruppen (http://de-de.facebook.com/directory/groups/).

Hier geht es ähnlich zu wie bei XING und LinkedIn: Die Startseite (http://de-de.facebook.com/directory/people/) verlinkt auf Buchstabenseiten (beispielsweise http://de-de.facebook.com/directory/people/P für den Buchstaben "P"). Von da aus wird es aber unübersichtlich, weil auf jeweils 100 Bereiche querverwiesen wird, z. B. "Sarah Pang - Natali Pantic". Wer diesem Link folgt, findet dort also alle Personen, deren Nachnamen lexikalisch zwischen "Sarah Pang" und "Natail Pantic" liegt. Wer einem solchen Hyperlink folgt, erhält dann eine Seite mit 100 weiteren Verweisen, wie etwa "Tangmo Panida - Banaja Panigrahi". Erst dann sieht man die vollständige Liste der zwischen den beiden "Eckpfeilern" vorhandenen Namen - wenn auch z. T. im hohen dreistelligen Bereich.

Bei Facebook erkennt man auch eine Sache, auf die bei derartigen Verzeichnissen geachtet werden muss. Denn die Verzeichnisinhalte ändern sich anscheinend oft. Eine Seite, die vor einigen Tagen noch "Manfred Schmidt - Amanda Schmidtmann" aufgeführt hat, zeigt Tage später "Pahpooleh Sheikhattari - Camellia Sheikhavandi". Zum Zeitpunkt der Drucklegung wird das wohl auch schon wieder anders sein. Ob das gut oder schnell ist, ist zu diskutieren. Vorteilhaft ist sicherlich, dass sich Seiten öfter ändern und daher wahrscheinlich häufiger vom Crawler besucht werden. Neue Inhalte kommen so also im Zweifelsfall schneller in den Index. Es könnte aber auch nachteilig sein, da sich die gesamten internen Linkstrukturen permanent ändern.

Das ist natürlich ein Problem, das alle derartigen Plattformen haben, da - je nach Beliebtheit des Netzwerkes - täglich viele Seiten hinzukommen. Bei der Planung eines solchen Verzeichnisses sollte der Betreiber das dementsprechend beachten und dafür sorgen, dass Seiten, die sich oben in der Website-Struktur befinden, möglichst konstant bleiben.

Über den Autor Markus Hövener ist Chefredakteur des Magazins suchradar und geschäftsführender Gesellschafter der Suchmaschinen-Marketing-Agentur Bloofusion Germany. E-Mail: markus@suchradar.de