Als Basis von Suchmaschinen

Ein Crawler fungiert als Programm, welches das Internet durchsucht und Webseiten erfasst sowie analysiert. Besondere Bedeutung kommt dieser Software bei Suchmaschinen zu. Google und Co. finden mit diesen Programmen Seiten auf und können sie anschließend listen. Zugleich spüren sie auch mittlerweile gelöschte Homepages auf und entfernen diese. Die Software agiert dabei von Webseite zu Webseite: Sie speichert Hyperlinks auf Homepages, fügt diese zu den bisher erfassten URLs hinzu und prüft dann auch diese Seite auf Hyperlinks..

Spezielle Webcrawler

Crawlers können sich auch auf Teilbereiche des World Wide Web beschränken. Focused Crawlers suchen gezielt nach bestimmten thematischen Homepages. Ein spezieller Crawler lässt sich auch zum Auffinden von urheberrechtlich Geschütztem einsetzen. Auf dieser Basis kann ein Unternehmen gegen Urheberrechtsverletzungen im Internet vorgehen.