Ab in den Google-Index: Indexierungsprobleme beheben

Beitrag aus Ausgabe 58 / Februar 2016
SEO
Markus Hövener

ist Chefredakteur des Magazins suchradar und geschäftsführender Gesellschafter der SEO-/SEA-Agentur Bloofusion Germany.

Google ist bemüht, möglichst viele Seiten in den eigenen Index aufzunehmen. Es kann aber dazu kommen, dass manche Seiten nicht indexiert werden. Woran kann das liegen? Und was kann dagegen unternommen werden?

Wenn eine bestimmte Seite in Google nicht gefunden wird, kann das viele Ursachen haben. In der Regel ist die Konkurrenz einfach besser. Manchmal kann es jedoch auch passieren, dass man kein Ranking erreicht, weil die eigene Website nicht im Google-Index vorliegt.

Zunächst lässt sich mit der Google-Suchanfrage „info:URL“ (also z. B. http://www.suchradar.de/) prüfen, ob sich eine Seite im Google-Index befindet. Typischerweise erhält man ein Suchergebnis – und zwar das, das man angefragt hat.

Falls die angefragte URL ein Canonical Tag (siehe Artikel in diesem suchradar) enthält, das von der URL abweicht, wird in der Regel die im Canonical Tag angegebene Seite als Suchergebnis angezeigt. Ein Beispiel dafür ist in Abbildung 1 dargestellt: Die Unterseite https://www.zalando.de/herrenschuhe/?p=2 kanonisiert auf die Seite https://www.zalando.de/herrenschuhe/ – und genau das wird im Suchergebnis auch angezeigt.

Wenn man jedoch ein negatives Ergebnis erhält, bedeutet das, dass sich die Seite derzeit nicht im Index befindet. Dann sollte man über die Google Search Console überprüfen, ob diese Seite grundsätzlich von Suchmaschinen geladen werden darf. Über die Funktion „Abruf wie durch Google“ kann man prüfen, ob die Seite für Suchmaschinen gesperrt ist. Wie in Abbildung 2 zu sehen ist, gilt das z. B. für die URL http://www.suchradar.de/blogticker/, die in der Datei robots.txt gesperrt ist. Entsprechend wird dies auch in der Ergebnisliste dargestellt.

Diese Funktion prüft aber leider nur das Crawling, nicht die Indexierung. Wenn es also ein Robots-Meta-Tag „noindex“ gibt, das eine Indexierung verhindert, würde das Tool dies nicht anzeigen.

Man muss also zudem prüfen, ob es ein Robots-Meta-Tag gibt. Dafür klickt man in der Google Search Console auf den Link in der Spalte „Status“ (also auf „Abgeschlossen“ oder „Teilweise“, siehe Abbildung 2), um dort nach dem Wort „noindex“ zu suchen.

Damit wurden bereits einige der häufigsten Gründe dafür genannt, warum Seiten nicht in den Index gelangen. Es gibt aber noch weitere Gründe, die sich nicht ganz so einfach überprüfen lassen.

Grund 1: Content

Ein Grund, warum Google sich gegen eine Seite ausspricht, kann im Inhalt der Seite begründet liegen. Wenn die Seite inhaltlich viel zu dünn ist oder es sich um Inhalte handelt, die bereits auf vielen anderen Seiten zu finden sind, kann sich Google nach dem Crawling entscheiden, diese Seite nicht zu indexieren.

Um das zu überprüfen, kann man die Seite zunächst kritisch untersuchen. Wer sich nicht sicher ist, ob es die gleichen Inhalte schon an anderer Stelle gibt, kann einige Phrasen kopieren und in Google danach suchen. Alternativ kann man dafür auch Tools wie Copyscape (www.copyscape.com) oder Siteliner (www.siteliner.com) nutzen. Beide Tools sind zwar grundsätzlich kostenpflichtig, können jedoch kostenlos getestet werden.

Grund 2: Interne Verlinkung

Google-Crawler müssen eine Seite über eine Folge von Klicks finden können. Mit anderen Worten: Es genügt nicht, dass eine Seite einfach nur eine URL besitzt Sie muss auch innerhalb der Website verlinkt sein.

Grundsätzlich kann Google eine Seite natürlich auch auf anderen Wegen finden, z. B. über externe Verlinkungen, Erwähnungen in sozialen Medien oder über eine XML-Sitemap. Der sicherste und beste Weg besteht jedoch darin, die Seite auch intern zu verlinken.

Um das zu prüfen, kann man Crawler-Tools wie den Screaming Frog SEO Spider nutzen. Dieser beginnt bei der Startseite und folgt dann allen Links in die Tiefe. Dabei wird zudem eine sinnvolle Zahl erhoben: die Klicktiefe. Dieser Wert gibt an, wie viele interne Links man mindestens anklicken muss, um von der Startseite auf eine bestimmte Seite zu gelangen. Je größer dieser Wert ist, desto geringer ist oft die Wahrscheinlichkeit, dass es eine Seite in den Index schafft.

In Abbildung 3 ist am Beispiel einer Website zu sehen, dass immerhin 6,82 % aller gefundenen Seiten eine Klicktiefe von 10 oder mehr haben. Das ist in der Regel eine Größenordnung, in der eine Indexierung relativ unwahrscheinlich ist.

Es gibt hier leider keine allgemeine Grenze, ab der eine Indexierung entweder gesichert oder ausgeschlossen ist. Grundsätzlich gilt nur, dass der Wert nicht zu hoch sein sollte.

Die Verbesserung der internen Verlinkung ist ein recht komplexes Thema, mit dem sich eine ganze suchradar-Ausgabe füllen ließe. Es gibt jedoch viele Methoden, um die Klicktiefe von Inhalten signifikant zu verbessern:

  • Verlinkung von ähnlichen Inhalten (z. B. Produktdetailseite A verlinkt auf die Produktdetailseiten von anderen Produkten)
  • Optimierung der Paginierung (Komponentenseiten wie „Seite 1 2 3 4“)
  • Nach Monat und Jahr strukturiertes Archiv aller redaktionellen Inhalte
  • ...

Der Weg in den Index

Wenn man alle diese Probleme behoben hat, kann es im Einzelfall natürlich trotzdem passieren, dass eine Seite nicht in den Index gelangt. Dies ist gewissermaßen „idiopathisch“, also ohne erkennbare Ursachen.

Grundsätzlich sollte die Seite nach dem Beheben der verschiedenen Ursachen von Google indexiert werden. Wenn man nicht warten möchte, bis Google die Seite irgendwann indexiert, kann man die Google Search Console nutzen: Wie in Abbildung 4 zu sehen ist, kann man die Funktion „Abruf wie durch Google“ nutzen und eine Seite „An den Index senden“. Hier ist nur ein bestimmtes Kontingent verfügbar (500 bzw. 10 Anfragen pro Monat, je nach Wahl der Option, siehe Abbildung 4), das in den meisten Fällen jedoch ausreicht.

Spannend? Jetzt Artikel zu Ende lesen!

Lesen Sie den Artikel weiter in unserer suchradar Ausgabe 58 von Februar 2016 mit dem Titelthema „Crawling und Indexierung: Der beste Weg in den Google-Index“.

Kostenloses PDF-Magazin bestellen Online weiterlesen? Einfach kostenlos für den Newsletter anmelden. Kostenpflichtiges Print-Abo bestellen