Робот індексації
Робота з індексацією - це програмне забезпечення, яке автоматично сканує Веб. Зазвичай він призначений для збирання ресурсів, щоб пошуковий механізм міг індексувати їх. Працюючи за тим самим принципом, деякі зловмисні роботи використовуються для архівування ресурсів або збирання адрес електронної пошти для надсилання електронних листів. З французької мови, починаючи з 2013 року, гусеничний інструмент може бути замінено словоспособом. Існують також колекціонери, які ретельно аналізують вміст, щоб повернути лише частину своєї інформації. У 90-х роках були запроваджені автоматичні компаратори цін, а потім компаратори цін / продуктивності для мікропроцесорів. Існують рамки, подібні Scrapy, для написання таких роботів.