Robot indeksacji
Robot indeksujący jest oprogramowaniem, które automatycznie skanuje sieć WWW. Zazwyczaj jest on przeznaczony do gromadzenia zasobów, aby umożliwić wyszukiwarce indeksowanie ich. Działając na tej samej zasadzie, niektóre złośliwe roboty są używane do archiwizacji zasobów lub zbierania adresów e-mail do wysyłania e-maili. W języku francuskim od 2013 r. Przeszukiwacz jest wymienny przez kolekcjoner wyrazów. Są też kolekcjonerzy, którzy uważnie analizują treść w celu przywrócenia tylko części swoich informacji. W latach dziewięćdziesiątych wprowadzono automatyczne komparatory cenowe, a następnie porównawcze ceny / osiągi mikroprocesorów. Oprawione ramy takie jak Scrapy istnieją do pisania takich robotów.