Roboter der Indexierung
Ein Indizierungsroboter ist Software, die das Web automatisch durchsucht. Es ist in der Regel entworfen, um Ressourcen zu sammeln, um eine Suchmaschine zu erlauben, sie zu indizieren. Nach dem gleichen Prinzip werden einige böswillige Roboter verwendet, um Ressourcen zu archivieren oder E-Mail-Adressen zu sammeln, um E-Mails zu senden. In französischer Sprache, seit 2013, ist Crawler durch den Wortkollektor austauschbar. Es gibt auch Sammler, die den Inhalt sorgfältig analysieren, um nur einen Teil ihrer Informationen zurückzubringen. In den 1990er Jahren wurden automatische Preisvergleicher und dann Preis- / Leistungsvergleicher für Mikroprozessoren eingeführt. Framed Frameworks wie Scrapy existieren, um solche Roboter zu schreiben.