Googlebot(グーグルボット)とは、 Googleのウェブクロール用ロボットです。 また「スパイダー」と呼ばれる場合もあります。
クロールは、Googlebot(グーグルボット)が Googleのインデックスに追加する、新しいページや 更新されたページを検出するプロセスです。
robots.txtを使用してサーバー上のファイルや ディレクトリへのアクセスをブロックすることで、 Googlebotによるサイトコンテンツのクロールをブロックすることも可能です。