大阪のSEO対策 10年目 マッハSEOブログ

robots.txtとは、
「ロボッツ・テキスト」または「ロボット・テキスト」と読みます。

goo、Google、Lycosなどの
ロボット型検索エンジンに対する命令を記述するためのファイルです。
また自分のページが、
検索エンジンのデータベースに登録されないように指示します。

ただ、この指定は強制的なものではなく、
この指定を行っても検索してしまう検索エンジンはあるかもしれません。