Die Grundlage von Suchmaschinen

Der Suchmaschinenindex einer Suchmaschine umfasst sämtliche Webseiten, welche erfasst sind und Nutzern angezeigt werden können. Mithilfe von automatisch arbeitenden Crawlern durchsuchen Suchmaschinen das Internet ständig nach neuen Seiten, die sie mittels Verlinkungen aufspüren. Anschließend erfolgt die Indexierung als erster Schritt. Die Ergebnislisten basieren zudem auf der Relevanz, die sich an zahlreichen Faktoren bemisst.

Ausschluss der Indexierung

Seitenbetreiber können Crawler anweisen, Seiten nicht zu indexieren. Das erledigen sie entweder im Header des HTML-Dokuments oder mit einer robots.txt-Datei. Das kann zum Beispiel Sinn ergeben, wenn eine Seite noch nicht fertig ist.