全文検索型サーチエンジンの検索データベースを作成するために、
世界中のWebページを回収するプログラム。
検索エンジンのクローラーはインターネットの
巡回しているプログラムです。
また、「ボット(Bot)」「スパイダー」「ロボット」などとも呼ばれています。
各ウェブサイトのHTMLのリンクを辿って
次のウェブサイトへと辿り着き、そして更に次のウェブサイトへと
巡回し、自動的に検索エンジンに登録していきます。
クローラーによって収集されたHTMLデータを扱いやすい
検索用語としてデータ化し、データーベースに登録していく
のがインデクサです。
まだデータベースに収録されていないWebページや、
更新されたWebページを発見しては内容を回収し、
結果をデータベースに反映させています。