suchradar.de > Web-Verzeichnis > Spider

Informationen über Spider/Crawler

Die folgenden Websites helfen Ihnen bei verschiedenen Aspekten rund um Spider. Der Begriff Spider (oder auch Crawler) steht für den Teil einer Suchmaschine, die das Internet nach neuen Inhalten absucht bzw. bestehende Inhalte auf Aktualität überprüft. In einigen Fällen ist es aber z.B. wünschenswert, bestimmte Seiten für Spider zu sperren. Auch ist es gelegentlich sinnvoll, zu erfahren, welcher Spider sich hinter einer Kennung verbirgt.

Diese und andere Fragen beantworten Ihnen die folgende Websites:

Englischsprachige Websites

Web Robots Pages

Suchmaschinen-Robots sind die Programme, welche die verschiedenen Web-Sites im Internet besuchen und Informationen über sie sammeln, um so Suchmaschinen wie Google, MSN oder Yahoo! mit Daten zu füttern. Daraus ergeben sich dann die Suchergebnisse, die man als Benutzer erhält. Doch nicht immer ist es gewünscht, dass die eigene Site oder alle Teile davon auch wirklich indiziert werden. Wie man mittels der „robots.txt“-Datei mit den Suchmaschinen-Robots kommunizieren kann, erklären die englischsprachigen Web Robots Pages.