Robot de indexação
Um robô de indexação é um software que verifica automaticamente a Web. Geralmente, ele é projetado para coletar recursos, para permitir que um mecanismo de pesquisa os indexe. Com o mesmo princípio, alguns robôs maliciosos são usados para arquivar recursos ou coletar endereços de e-mail para enviar e-mails. Em francês, desde 2013, o rastreador é substituível pela palavra coletor. Há também colecionadores que analisam cuidadosamente os conteúdos para trazer apenas parte de suas informações. Desde a década de 1990, comparadores de preços automáticos e, em seguida, comparadores de preço / desempenho para microprocessadores existiram. Estruturas moldadas como Scrapy existem para escrever tais robôs.