tractor pe șenile
Crawler este un program care achiziționează periodic documente și imagini pe web și creează automat o bază de date. Este de asemenea numit "Bot", "Spider", "Robot" și așa mai departe. Acesta este utilizat în principal pentru bazele de date pentru motoarele de căutare și crearea de indexuri, precum și pentru sondaje statistice și alte scopuri. În ultimii ani, companii de colectare a adreselor de e-mail și altele utilizează, de asemenea, crawlere pentru a spori eficiența transmisiei de spam. În general, crawlerul repetă operația de a solicita o nouă copie a unui document HTML cunoscut, urmărirea unui link inclus în document și colectarea unui alt document. Dacă se găsește un document nou, acesta este înregistrat în baza de date. Dacă se constată că nu există niciun fișier cunoscut, acesta va fi șters din baza de date. ...