Робот индексации
Индексирующий робот - это программа, которая автоматически сканирует Интернет. Он обычно предназначен для сбора ресурсов, чтобы позволить поисковой системе индексировать их. Выполняя тот же принцип, некоторые вредоносные роботы используются для архивации ресурсов или сбора адресов электронной почты для отправки электронных писем. На французском языке, начиная с 2013 года, искатель сменяется сборщиком слов. Есть также коллекционеры, которые тщательно анализируют содержимое, чтобы вернуть только часть своей информации. В 1990-х годах были введены автоматические компараторы цен, а затем компараторы цены / производительности для микропроцессоров. Существуют такие рамки, как Scrapy, для написания таких роботов.