Crawler
Program Crawler to program, który okresowo uzyskuje dokumenty i obrazy w internecie i automatycznie tworzy bazę danych. Nazywa się także "Bot", "Spider", "Robot" i tak dalej. Jest on wykorzystywany przede wszystkim do wyszukiwarki baz danych i tworzenia indeksów, a także do celów statystycznych i innych celów. W ostatnich latach firmy zbierające e-maile i inne firmy wykorzystują także roboty do zwiększania skuteczności przesyłania spamu. Ogólnie przeszukiwacz powtarza operację żądania nowej kopii znanego dokumentu HTML, śledzenia łącza zawartego w dokumencie i pobrania innego dokumentu. Jeśli zostanie znaleziony nowy dokument, jest on zarejestrowany w bazie danych. Jeśli zostanie wykryte, że nie ma znanego pliku, zostanie usunięty z bazy danych. ...