Robot d'indexation
Un
robot d'indexation est un logiciel qui explore automatiquement le Web. Il est généralement conçu pour collecter les ressources, afin de permettre à un moteur de recherche de les indexer. Fonctionnant sur le même principe, certains robots malveillants sont utilisés pour archiver les ressources ou collecter des adresses électroniques auxquelles envoyer des courriels. En Français, depuis 2013, crawler est remplaçable par le mot collecteur. Il existe aussi des collecteurs analysant finement les contenus afin de ne ramener qu'une partie de leur information. Dès les années 1990, il a ainsi existé des
comparateurs de prix automatiques, puis des
comparateurs performance/prix pour les microprocesseurs. Des frameworks tout faits comme Scrapy existent pour écrire de tels robots.