इंडेक्सेशनचा रोबोट
इंडेक्सिंग रोबोट हे असे सॉफ्टवेअर आहे जे आपोआप वेब स्कॅन करते. हे सहसा स्त्रोत गोळा करण्यासाठी डिझाइन केले आहे, जेणेकरून एका शोध इंजिनला ते अनुक्रमित करण्यास अनुमती मिळते. समान तत्त्वावर चालू ठेवून, काही दुर्भावनापूर्ण रोबोट्सचा वापर स्त्रोत संग्रहित करण्यासाठी किंवा ईमेल पाठविण्यासाठी ईमेल पत्ता एकत्रित करण्यासाठी केला जातो. फ्रेंच मध्ये, 2013 पासून, क्रॉलर शब्द संग्राहक द्वारे बदलण्यायोग्य आहे. कलेक्टर्स देखील आहेत जे त्यांच्या माहितीचा केवळ एक भाग परत आणण्यासाठी सामुग्रीचे काळजीपूर्वक विश्लेषण करतात. 1 99 0 पासून मायक्रोप्रोसेसरसाठी स्वयंचलित किंमत तुलनाकर्ते आणि मूल्य / कामगिरी तुलना करणारे अस्तित्वात आहेत. अशा रोबोट लिहिण्यासाठी Scrapy सारख्या फ्रेमयुक्त फ्रेमवर्क असतात.