Googlebot(グーグルボット)とは、
Googleのウェブクロール用ロボットです。
また「スパイダー」と呼ばれる場合もあります。
クロールは、Googlebot(グーグルボット)が
Googleのインデックスに追加する、新しいページや
更新されたページを検出するプロセスです。
robots.txtを使用してサーバー上のファイルや
ディレクトリへのアクセスをブロックすることで、
Googlebotによるサイトコンテンツのクロールをブロックすることも可能です。
Googlebot(グーグルボット)とは、
Googleのウェブクロール用ロボットです。
また「スパイダー」と呼ばれる場合もあります。
クロールは、Googlebot(グーグルボット)が
Googleのインデックスに追加する、新しいページや
更新されたページを検出するプロセスです。
robots.txtを使用してサーバー上のファイルや
ディレクトリへのアクセスをブロックすることで、
Googlebotによるサイトコンテンツのクロールをブロックすることも可能です。