Robot de indexación
Un robot de indexación es un software que explora automáticamente la Web. Por lo general, está diseñado para recopilar recursos, a fin de permitir que un motor de búsqueda para indexarlos. Siguiendo el mismo principio, algunos robots maliciosos se utilizan para archivar recursos o recopilar direcciones de correo electrónico para enviar correos electrónicos. En francés, desde 2013, el rastreador es reemplazable por el coleccionador de palabras. También hay coleccionistas que analizan cuidadosamente el contenido con el fin de recuperar sólo una parte de su información. En la década de 1990, se introdujeron los comparadores de precios automáticos y luego los comparadores de precio / rendimiento para los microprocesadores. Los marcos enmarcados como Scrapy existen para escribir tales robots.