robots.txt では、守りきれない慎重に扱うべきコンテンツには、
より安全な方法をいくつも考えましょう。
robots.txtの設置だけでは充分に情報を守ることができません。
会社の顧客情報やサイトの購入者の情報など、
機密事項や慎重に扱うべきコンテンツが
クロールされないよう情報管理は徹底しましょう。
robots.txtの設置だけで情報を管理するのではなく、
別な方法などもいくつか考えておきましょう。
robots.txtだけで情報を管理しないほうがよい理由としては、
いくらクロールできないように設定したURLであっても、
そのURLへのリンクがインターネット上に存在する場合、
検索エンジンはそのURLを参照できるからです。
Robots Exclusion Standardに準拠しない検索エンジンや
不正な検索エンジンなどは、robots.txtの指示に従わないかもしれません。
また、好奇心の強いユーザーの中には、
robots.txtにあるディレクトリやサブディレクトリを見て、
見られたくないコンテンツのURLを推測する人がいるかもしれません。
そうならないためにも、コンテンツの暗号化や.htaccessを使って
パスワードをかけて保護する方が、より確実で安全な手段になります。
情報の漏洩を防ぐには、robots.txt だけではなく、
慎重に扱うべきコンテンツの内容を選別して、何重にも安全な方法を考えましょう。