クローキングとは、
検索者が実際に目にするURLのコンテンツとは違うコンテンツを
検索エンジンに記録させる行為。
アクセス元のIPアドレスやユーザーエージェントを判別して、
ユーザーからのアクセスの場合はユーザー向けウェブページを、
検索エンジンのクローラーからのアクセスの場合は
検索エンジン向けのウェブページを読み込ませる。
検索エンジンの多くは、認めていない方法で
クローキングに対するガイドラインに
違反した場合、ページにペナルティが課されるか、
検索エンジンのインデックスから削除され
インデックスの登録を禁止される場合がある。
一般に検索エンジンが提供している有料登録プログラムのみ認められているものもある。