クロールとは、
ソフトウェアなどが自動的にWebページを巡回する作業のこと。
リンクを辿ってWebサイトを巡回し、
Webページ上の情報を複製・保存して次々にページの収集（インデックス）している。
定期的にクローリングを行うことで、検索エンジンは
Webページに追加・更新された情報も検索することが可能となる。
このようなクローリングを行うためのプログラムを「クローラ」(crawler)
「ロボット」(robot、縮めて「ボット」(bot)とも)、
「スパイダー」(spider)などと呼び、
主に検索エンジンなどで情報を収集するのに利用されている。