Robots Exclusion Standard

Robots Exclusion Standardとは、
クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約。
検索エンジンのボットなど、
自動でクロールするユーザーエージェントに対して、
サーバー上のアクセス可能な領域を制限するための仕様である。

主に検索エンジンがウェブサイトの内容を分類しアーカイブするために使ったり、
ウェブマスターがソースコードを校正するためにつかうこともある。
直接の関係はないが、
逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。
Googlebotをはじめとした主要なボットが、この仕様に準拠している。

タグ ,