Robot de indexare
Un robot de indexare este un software care scanează automat Web-ul. Acesta este de obicei conceput pentru a colecta resurse, pentru a permite unui motor de căutare să le indexeze. Făcând pe același principiu, unii roboți rău intenționați sunt utilizați pentru arhivarea resurselor sau pentru colectarea adreselor de e-mail pentru trimiterea de e-mailuri. În limba franceză, începând cu 2013, crawlerul poate fi înlocuit de cuvântul colector. Există, de asemenea, colectori care analizează cu atenție conținutul pentru a aduce înapoi doar o parte din informațiile lor. Începând cu anii 1990, au existat comparatoare automate de preț și apoi comparatori de preț / performanță pentru microprocesoare. Cadre asemănătoare, cum ar fi Scrapy, există pentru a scrie astfel de roboți.