Googlebot

Googlebot(グーグルボット)とは、
Googleのウェブクロール用ロボットです。
また「スパイダー」と呼ばれる場合もあります。

SEO WORD-026

クロールは、Googlebot(グーグルボット)が
Googleのインデックスに追加する、新しいページや
更新されたページを検出するプロセス
です。

robots.txtを使用してサーバー上のファイルや
ディレクトリへのアクセスをブロックすることで、
Googlebotによるサイトコンテンツのクロールをブロックすることも可能です。

タグ