- Werbung -

Der Kampf gegen Duplicate Content:
Neue Option bei den Google Webmaster Tools

Seit einigen Wochen gibt es in den Google Webmaster Tools [1] eine neue Option, die im Kampf gegen Duplicate Content helfen kann. Die neue "Parameterbehandlung" genannte Option befindet sich im Menü unter "Website-Konfiguration > Einstellungen".

Hier können Parameter definiert werden, die von Google beim Besuch einer Website automatisch aus der URL entfernt werden. Hier gibt es häufig Probleme, weil oft Parameter an eine URL angehängt werden, was dazu führt, dass eine Seite unter mehreren URLs gefunden werden kann.

Über die Parameterbehandlung kann dabei vor allem drei Arten von Duplicate Content verhindern:

(1) Duplicate Content wegen Session-IDs, z.B.
http://www.meinewebsite.de/pfad/ und http://www.meinewebsite.de/pfad/?sid=636cb8ac6330dde537ea7f348fe857f7

(2) Duplicate Content wegen Tracking-Parametern, z.B.
http://www.meinewebsite.de/pfad/ und http://www.meinewebsite.de/pfad/?track=KlickAusNewsletter

(3) Duplicate Content wegen Affiliate-Parametern, z.B.
http://www.meinewebsite.de/pfad/ und http://www.meinewebsite.de/pfad/?affiliate=33

Wie man an den Beispielen sieht, kann man Parameter wie sid, track oder affiliate entfernen, um eine "normale" URL zu erhalten. Über die neue Option kann man nun derartige Parameter definieren und so die Indexierung doppelter URLs verhindern.

Diese Idee ist übrigens nicht neu: Yahoo bietet eine solche Option im Site Explorer (das Gegenstück zu den Google Webmaster Tools) bereits seit längerem unter dem Menüpunkt "Action > Dynamic URLs" an. Hier hatte also Yahoo einmal die Nase vorn.

Robots.txt

Bevor es die Möglichkeit gab, unliebsame Parameter über die Google Webmaster Tools zu sperren, gab es natürlich auch schon andere Methoden, dieses Problem in den Griff zu bekommen. Die einfachste Methode ist wohl, URLs, in denen derartige Parameter vorkommen, komplett für Suchmaschinen zu sperren.

Wer also z.B. alle URLs, in denen eine Session-ID vorkommt, sperren möchte, könnte das über die folgende Anweisung machen:

Disallow: /*sid=*

Durch einen derartigen Eintrag werden alle betroffenen Seiten effektiv gelöscht. Der Vorteil einer solchen Lösung liegt darin, dass diese von allen Suchmaschinen gleichermaßen unterstützt wird. Leider gibt es einen Nachteil: Wenn von einer externen Seite auf eine URL mit einem unliebsamen Parameter verlinkt wird, hilft dieser Link nicht bei der Verbesserung der externen Verlinkung. Dieser Nachteil ist aber leicht zu verschmerzen, da i.d.R. nur wenige Links davon betroffen sind.

Canonical Tag

Wer nicht auf die robots.txt zurückgreifen möchte, kann auch das so genannte Canonical-Tag nutzen (siehe suchradar Ausgabe 17). Der Vorteil des Canonical Tags liegt vor allem darin, dass es von allen großen Suchmaschinen unterstützt wird.

Über das Canonical Tag wird einer Seite eine "korrekte" URL zugeordnet. Wenn eine Suchmaschine mehrere Seiten mit derselben Canonical-URL indexiert hat, werden diese wie eine einzelne Seite behandelt. Wer also in alle Seiten mit einer Session-ID in der URL eine Canonical-URL ohne diese Session-ID einträgt, sorgt dafür, dass zumindest in den Suchergebnissen keine URL mit Session-ID zu finden sein sollte.

Grundsätzlich ist zu empfehlen, dass alle Websites über Canonical-Tags verfügen sollten, da diese eine Art Sicherheitsnetz darstellen. Selbst wenn man andere Maßnahmen zur Kontrolle doppelter Inhalte nutzt, kann man dabei immer etwas übersehen. Das Canonical-Tag kann in derartigen Fällen helfen, den Schaden zu begrenzen.

Nachteilig am Canonical-Tag ist definitiv die Tatsache, dass hier Duplicate Content nicht verhindert wird. Vielmehr werden nur die negativen Effekte gemildert. Denn damit Canonical-Tag zum Tragen kommt, muss eine Suchmaschine zunächst alle doppelten Inhalte herunterladen und indexieren. So werden unnötig viele Seiten erfasst und es wird auch "Crawler-Energie" gebunden, die für sinnvolle Seiten genutzt werden könnte.

Neue Lösung: Parameterbehandlung

Mit der neuen Lösung begegnet Google diesem Problem, da Seiten nicht erst heruntergeladen werden müssen, um zu erkennen, dass diese eigentlich bereits unter einer anderen URL indexiert sind.

Über die neue Option (siehe Abbildung 1) ist es jetzt möglich, irrelevante Parameter aus URLs zu entfernen. Dabei ist es wichtig, dass eine Seite mit und ohne diesen Parameter den selben oder zumindest annähernd den selben Inhalt zeigt. Wenn der Google-Crawler über einen Link eine neue URL findet, in der einer der irrelevanten Parameter enthalten ist, wird dieser Link so verändert, dass der Parameter nicht mehr vorkommt.

Diese neue Option hilft aber eben nur bei irrelevanten Parametern. Anderen Varianten von Duplicate Content kann man damit leider nicht zu Leibe rücken. Wer z.B. in einem Shop-System ein Produkt in zwei Kategorien einfügt, erhält dann oft zwei URLs zu einem Produkt (z.B. http://www.shop.de/rubrik1/produktX und http://www.shop.de/rubrik2/produktX). Auch gibt es Shop-Systeme, bei denen jede Seite doppelt verfügbar ist, und zwar mit einer sprechenden und einer kryptischen URL. Derlei Probleme kann man aber mit der neuen Option nicht lösen.

Nachteil der neuen Option ist leider auch, dass diese Google-spezifisch ist. Yahoo bietet zwar eine ähnliche Funktion, aber Bing zumindest derzeit noch nicht. Wer also in allen Suchmaschinen gleichermaßen gut gefunden werden möchte, muss andere Maßnahmen im Kampf gegen Duplicate Content treffen.

Empfehlung

Die neue Option sollte auf jeden Fall genutzt werden. Die Google Webmaster Tools zeigen Vorschläge für Parameter an, die man blockieren könnte. Man kann diese durchforsten oder eben "die üblichen Verdächtigen" ausschließen.

Zusätzlich ist es aber absolut sinnvoll, auch andere Methoden zu nutzen, vor allem das Canonical-Tag. Noch besser ist es natürlich, Duplicate Content per se zu vermeiden, was aber gerade bei größeren Websites oftmals schwierig ist.

[1] www.google.com/webmasters/tools/?hl=de

Über den Autor Markus Hövener ist Chefredakteur des Magazins suchradar und geschäftsführender Gesellschafter der Suchmaschinen-Marketing-Agentur Bloofusion Germany. Email: markus@suchradar.de

Kommentar abgeben