인덱싱 로봇
인덱싱 로봇은 웹을 자동으로 스캔하는 소프트웨어입니다. 일반적으로 검색 엔진이 색인을 생성 할 수 있도록 자원을 수집하도록 설계되었습니다. 동일한 원칙에 따라 실행되는 일부 악성 로봇은 자원을 보관하거나 전자 메일 주소를 수집하여 전자 메일을 보내는 데 사용됩니다. 프랑스어에서는 2013 년부터 크롤러가 단어 수집기로 바뀝니다. 또한 정보의 일부만 다시 가져 오기 위해 내용을 신중하게 분석하는 수집가도 있습니다. 1990 년대에는 자동 가격 비교기와 마이크로 프로세서 용 가격 / 성능 비교기가 도입되었습니다. 이러한 로봇을 작성하기 위해 Scrapy와 같은 프레임 워크 프레임 워크가 존재합니다.