robots.txt
Indexierung verhindern
Bei der Datei robots.txt handelt es sich um eine Textdatei, mit der sich das Verhalten von Webcrawlern beeinflussen lässt. Mit ihr können Seitenbetreiber bestimmen, dass die Crawler die komplette Website oder einzelne Bereiche nicht in Suchmaschinen indexieren. Es existieren auch alternative Verfahren, zum Beispiel entsprechende Anweisungen in den Metadaten eines HTML-Dokuments. Beide Methoden setzen stets voraus, der Webcrawler diese Hinweise berücksichtigt.
Gründe
Gewöhnlich streben Seitenbetreiber nach der Indexierung, sie zielen auf ein möglichst hohes Suchmaschinenranking. Es gibt aber auch Ausnahmen. Vielleicht befindet sich eine Homepage noch im Aufbau, dann wollen manche erst beim fertigen Auftritt hohe Besucherzahlen erreichen. Eventuell findet sich auf einer Unterseite auch Duplicate Content, in diesem Fall sollten Betreiber ebenfalls eine Indexierung vermeiden.
Erstgespräch vereinbaren
Vereinbaren Sie einen unverbindlichen und kostenlosen Beratungstermin und stellen Sie uns Ihr Projekt vor.
