robots.txt

Indexierung verhindern

Bei der Datei robots.txt handelt es sich um eine Textdatei, mit der sich das Verhalten von Webcrawlern beeinflussen lässt. Mit ihr können Seitenbetreiber bestimmen, dass die Crawler die komplette Website oder einzelne Bereiche nicht in Suchmaschinen indexieren. Es existieren auch alternative Verfahren, zum Beispiel entsprechende Anweisungen in den Metadaten eines HTML-Dokuments. Beide Methoden setzen stets voraus, der Webcrawler diese Hinweise berücksichtigt.

Gründe

Gewöhnlich streben Seitenbetreiber nach der Indexierung, sie zielen auf ein möglichst hohes Suchmaschinenranking. Es gibt aber auch Ausnahmen. Vielleicht befindet sich eine Homepage noch im Aufbau, dann wollen manche erst beim fertigen Auftritt hohe Besucherzahlen erreichen. Eventuell findet sich auf einer Unterseite auch Duplicate Content, in diesem Fall sollten Betreiber ebenfalls eine Indexierung vermeiden.

Zurück zum Lexikon