- Werbung - Hier Werbung schalten -

suchradar.de > Magazin > Archiv > Ausgabe 14 > Q&A

Suchradar Q&A:
Indexierung, dynamische und statische URLs

Stimmt es, dass Google nicht alle Seiten einer Domain indiziert? Wenn ja, lässt sich herausfinden, welche und wie viele Seiten herangezogen werden?

Prinzipiell ist es erstmal so, dass Google versucht, so viele sinnvolle Seiten wie möglich zu erfassen. Insbesondere wenn eine Website aus einer übersichtlichen Anzahl an statischen Seiten besteht, wird Google diese - ebenso wie die meisten anderen Suchmaschinen - auch zu 100% indexieren.

Suchmaschinen starten dabei meistens auf der Startseite und folgen allen von der Startseite aus verlinkten Seiten. Dieser Vorgang setzt sich dann immer weiter fort.

Es kann aber verschiedene Gründe geben, warum eine Suchmaschine eine bestimmte Seite nicht erfasst, u.a.:

1. Die Seite könnte für Suchmaschinen gesperrt sein. Das kann z.B. durch einen Eintrag in der robots.txt oder einen Robots-Meta-Tag geschehen.
2. Der Link auf die Seite könnte für Suchmaschinen nicht lesbar sein. Gelegentlich werden Links z.B. über JavaScript o.ä. Methoden realisiert. Suchmaschinen wie Google können mit JavaScript zu einem gewissen Grad umgehen und die Links erkennen, aber ab einer bestimmten Komplexität des JavaScript-Codes ist das Suchmaschinen eben nicht mehr möglich. Wenn man also sichergehen möchte, dass Suchmaschinen einem Link folgen können, sollte dieser als normaler HTML-Link (<a href="URL">...</a>) eingebaut werden.
3. Die Seite könnte sich zu tief in einer Website befinden. Manchmal folgen Suchmaschinen Links nicht, wenn diese eine bestimmte Klick-Tiefe übersteigen. Gemessen wird hier, wie viele Klicks minimal benötigt werden, um von der Startseite aus auf die jeweilige Seite zu kommen. Es gibt keine festen Regeln für Klick-Tiefen, aber diese sollten idealerweise nicht zu hoch sein.
4. Die Struktur einer Website könnte einer Suchmaschine zu komplex erscheinen. Google hat unlängst in die Webmaster Tools eine Warnung eingebaut, wenn dem Google-Crawler eine Sektion einer Website zu komplex erscheint, z.B. weil es hunderte von Links gibt, die wiederum zu hunderten von Links führen.
5. Die URL einer bestimmten Seite könnte zu kryptisch sein. Auch wenn derartige Probleme seltener werden, kann es immer noch passieren, dass manche Suchmaschinen kryptische URLs mit vielen Parametern und/oder Session-IDs nicht indexieren.
6. Der Link auf die zu erfassende Seite könnte als rel="nofollow" markiert sein.

Es kann also mehrere Gründe dafür geben, dass eine Suchmaschine nicht alle Seiten indexiert. Um zu überprüfen, welche Seiten einer Website von Google indexiert worden sind, kann man die folgenden Methoden wählen:

1. Über die Suchanfrage "info:URL" kann man feststellen, ob eine bestimmte Seite im Google-Index erfasst ist oder nicht. Falls die Seite indexiert wurde, erscheint die entsprechende Seite als Suchergebnis.
2. Über die Suchanfrage "site:DOMAIN" können die indexierten Seiten einer Website erfasst werden. Leider kann man bei dieser Methode nur die ersten tausend Seiten abrufen; für größere Websites funktioniert diese Methode nicht. Immerhin gibt Google an, wie viele Seiten sich insgesamt im Google-Index befinden. Die von Google angegebene Zahl ist aber keine absolut verlässliche Zahl, sondern bestenfalls eine grobe Schätzung.
3. Wer über die Google Webmaster Tools eine XML Sitemap eingereicht hat, erfährt in den Webmaster Tools immerhin die exakte Zahl der URLs, die in der Sitemap vorkommen und die von Google indexiert wurden. Leider gibt Google hier nicht an, welche konkreten URLs nicht erfasst wurden und auch nicht, warum diese nicht indexiert wurden.

Die Tatsache, dass eine bestimmte Seite nicht im Google-Index erfasst ist, bedeutet übrigens nicht, dass Google das in der Zukunft nicht doch noch machen wird. Eine neue Seite kann durchaus einige Tage oder Wochen benötigen, um aufgenommen zu werden.

Google hat letztens geschrieben, dass dynamische URLs doch besser sind als statische. Muss ich jetzt meine Website wieder umstellen?

Die Meldung im Google Webmaster Central Log [1] hat in der Tat einigen Staub aufgewirbelt - insbesondere, weil so ziemlich jeder SEO statische URLs empfiehlt.

Es ging um das sogenannte URL-Rewriting dynamischer URLs. Dynamische URLs kann man am Fragezeichen erkennen, dem mehrere durch "&" getrennte Parameter folgen können, z.B.

http://www.meinewebsite.de/index.php?id=33&cmd=show

Eine solche URL enthält die beiden Parameter "id" und "cmd" mit den jeweiligen Werten "33" und "show". Das PHP-Skript würde in diesem Fall ein Objekt mit der ID 33 aus der Datenbank holen und auf der Website anzeigen.

Früher gab es sehr viele Problem mit dynamischen URLs, insbesondere, wenn diese viele Parameter hatten. Suchmaschinen haben sich dann oft geweigert, diese URLs zu indexieren.

Um diese URLs dennoch in den Suchmaschinen-Index zu bekommen, wurden für diese dynamische URLs statische Aliase eingerichtet, z.B.

http://www.meinewebsite.de/33/show/

Auf der Website wurden nur noch die statischen URLs verwendet, so dass Suchmaschinen die statischen URLs erfassen konnten. Intern hat sich dagegen wenig geändert, weil die statischen URLs intern wieder auf die alten dynamischen URLs abgebildet wurden.

Häufig wird das URL-Rewriting auch so eingerichtet, dass sprechende URLs möglich werden, also URLs, die die Ziel-Suchbegriffe aufgreifen. Anstelle der oben genannte statischen URL würde man also insbesondere bei redaktionellen Medien das Folgende finden:

http://www.meinewebsite.de/die-renten-steigen-33.html

Google hat sich nun in besagtem Blog-Post gegen diese Praktiken ausgesprochen. Ein Argument ist dabei, dass das URL-Rewriting sehr konsequent durchgeführt werden muss, um nicht doch irgendwo auch die dynamische URL zu verwenden und damit Duplicate Content zu erzeugen. Dieses Problem besteht sicherlich und ist auch bei einigen Shop-Systemen sehr schwer in den Griff zu bekommen. Website-Betreiber sollten daher nur auf URL-Rewriting setzen, wenn sie die statischen URLs auch konsequent verwenden.

Google argumentiert weiter, dass es dem Crawler bei den statischen URLs nicht mehr so leicht möglich ist, Strukturen innerhalb der Website zu erkennen. Bei Benutzung der dynamischen URLs wie http://www.meinewebsite.de/index.php?id=(ID)&cmd=show wäre es einer Suchmaschine möglich zu erkennen, dass es ganz viele Seiten dieser Art gibt (jeweils mit unterschiedlicher ID); bei Benutzung statischer URLs ist diese Gruppierung von Seiten nicht mehr möglich.

Prinzipiell kann ich hier aber auch keinen Vorteil erkennen - im Gegenteil. Es könnte ja auch sein, dass eine Suchmaschine aus der Tatsache, dass es von einer bestimmten URL-Sorte hunderttausende Seiten gibt, den Schluss zieht, dass diese Seiten vielleicht nicht so wichtig sind.

Auch hat sich gezeigt, dass kurze, sprechende URLs bessere Klick-Raten innerhalb der Suchergebnisse erzielen. Ob es nun für das Ranking einen Vorteil hat, dass die Suchbegriffe in der URL aufgegriffen haben, ist sicherlich zu debattieren, aber innerhalb der Suchergebnisse hat eine "schöne" URL einen klaren Vorteil.

Insgesamt darf der Blog-Post also mit der nötigen Gelassenheit aufgenommen werden. Wohl kein SEO wird das URL-Rewriting aus der Liste der sinnvollen Maßnahmen streichen, nur weil Google es lieber anders hätte und das vielleicht einige Sachen beim Crawling leichter machen würde.

Vor allem ist wichtig, dass der Post natürlich keine Abstrafungen oder Abwertungen gegen statische URLs anspricht. Es gibt also absolut keinen Grund, von derzeit statischen zurück auf dynamische URLs zu wechseln.

[1] http://googlewebmastercentral.blogspot.com/2008/09/dynamic-urls-vs-static-urls.html

Über den Autor Markus Hövener ist Chefredakteur des Magazins suchradar und geschäftsführender Gesellschafter der Suchmaschinen-Marketing-Agentur Bloofusion Germany. Email: markus@suchradar.de

Kommentar abgeben