robots.txt とは、
検索エンジンにアクセスしクロールしてほしい部分と
そうでない部分を伝えるためのファイルのことです。
robots.txtをサイトのルートディレクトリ置くことで
クロールが不要な部分は robots.txtで回避することができます。
ただ、robots.txtを使用する場合は、決まりがあり、
robots.txt 情報のファイル名は必ず【robots.txt】で
サイトのルートディレクトリに置く必要があります。
そのため、クロールを回避させたいサブドメインを
複数もつサイトであれば、クロールさせたくないサブドメインの
それぞれに、個別の robots.txtファイルを用意する必要があります。
robots.txtの他にも、
検索結果にコンテンツを表示させない方法はいくつあります。
『NOINDEX』を robotsメタタグに追加や
『.htaccess』を使ってディレクトリにパスワード設定するなどです。
また過去にGoogleウェブマスターツールを使って
クロールを回避させる情報をもつサブドメインが
すでにクロールされている場合は、コンテンツの削除する必要があります。
robots.txtを使用する際は、サイトやサブドメインの情報のなかで、
クロールされたい情報か？クロールされる必要のない情報か？を考えましょう。
そのうえで、クロールされる必要のない情報は、回避させる対策する必要があります。