索引付けのロボット
インデックス作成ロボットは、Webを自動的にスキャンするソフトウェアです。 これは通常、検索エンジンが索引付けできるようにするために、リソースを収集するように設計されています。 同じ原則に基づいて、一部の悪意のあるロボットは、リソースをアーカイブしたり、電子メールアドレスを収集して電子メールを送信するために使用されます。 フランス語では、2013年以来、クローラは語句コレクタによって置き換えられます。 彼らの情報の一部のみを取り戻すために内容を慎重に分析するコレクターもいます。 1990年代以来、自動価格比較器、次にマイクロプロセッサの価格/性能比較器が存在していた。 そのようなロボットを書くためにScrapyのようなフレームワークフレームが存在する。