Crawler

Crawler ist auch unter den Namen bot, robot oder spiders bekannt. Es sind Programme, die von Suchmaschinen benutzt werden. Es ist eine automatische Methode zum Download des HTML Inhalts (ohne Graphiken) von Websites und allem, rund um das HTML, im World Wide Web. Hauptsächlich werden, für den späteren Prozess der Suchmaschinen, Kopien aller besuchten Webseiten angefertigt. Danach können schnelle Suchergebnisse geliefert werden. Crawler wird auch für eine spezifische Suche nach Informationen von Webseiten benutzt, wie z. B. zum Sammeln von E-Mail Adressen, die dann für Spam-Zwecke benutzt werden.