Robot indeksasi
Robot pengindeksan adalah perisian yang secara automatik mengimbas Web. Ia biasanya direka untuk mengumpul sumber, untuk membolehkan mesin pencari mengindeksnya. Berlari dengan prinsip yang sama, beberapa robot berniat jahat digunakan untuk mengarkibkan sumber atau mengumpul alamat e-mel untuk menghantar e-mel. Dalam bahasa Perancis, sejak tahun 2013, perayap boleh diganti oleh pengumpul perkataan. Terdapat juga pengumpul yang menganalisis kandungan dengan berhati-hati untuk membawa kembali sebahagian daripada maklumat mereka. Pada tahun 1990-an, perbandingan harga automatik dan harga komparator harga / prestasi untuk mikropemproses telah diperkenalkan. Rangka kerja frame seperti Scrapy ada untuk menulis robot itu.