クローラーの訪問をチェックする

各検索エンジンにURLを登録した後、検索結果に表示されるまでには通常約2~4週間程度、時間がかかります。日々検索して結果ページを探すのもいいですが、その他にクローラーが本当に巡回してくれたのかどうか確認する方法があります!

クローラーが訪問してくれた場合は、Webサーバ上のアクセスログファイル上にに足跡を残してくれます。具体的には、アクセスログファイルの中に

・Yahoo!Japanの場合:「Yahoo」「Inktomi」「Yahoo!Slurp」など
・Googleの場合:「Google」「googlebot」など

という文字が書き込まれていれば、巡回してくれたということがわかります。
一度ログファイルを開いてチェックしてみましょう!

タグ , , ,