Grundlage von Suchmaschinen

Ein Spider als automatisch arbeitendes Computerprogramm durchsucht Dokumente im World Wide Web nach bestimmten Aufgaben. Suchmaschinen setzen diese Programme ein, um Websites ausfindig machen. Spider spüren Homepages mittels Hyperlinks von anderen Seiten auf die jeweilige Website auf. Die auch als Crawler bezeichneten Programme können aber auch andere Funktionen erfüllen, bei Preisvergleichsportalen visieren sie beispielsweise Produkte an.

Anweisungen an Crawler

Seitenbetreiber können die Indexierung durch Suchmaschinen verhindern. Das erledigen sie entweder mit einer Anweisung in der robots.txt oder in den Metadaten des HTML-Headers. Lassen Verantwortliche diese Hinweise weg, geschieht die Indexierung kurze Zeit nach der Veröffentlichung einer Homepage automatisch.