クローラー」タグアーカイブ

携帯ユーザーの誘導とは何か?

携帯ユーザーをモバイルサイトに誘導する方法として
モバイルとデスクトップを区別するように工夫しましょう。

モバイルとデスクトップのサイトを
運営されている人の多くで、デスクトップからの検索に対して
モバイル版のページが出現してしまう、または逆の
モバイル検索でデスクトップ版のページが出てきてしまうなどの問題があります。

このような時は、
リダイレクトなどを利用することで携帯ユーザーを
モバイルサイトに誘導するのが有効です。
リダイレクトを利用する時はモバイルの同じページに誘導しよう。

デスクトップのURLに携帯ユーザーからのアクセスがあった場合、
対応するモバイルのURLにリダイレクトするという方法です。
これによってGoogleが両者の関係に気付き、
デスクトップからの検索に対してはデスクトップのURLを、
モバイル検索にはモバイルのURLを出すことができるようになります。

この場合、対応するURLでアクセスできるコンテンツは、
できるだけ一致するようにしましょう。

例えばショッピングサイトを運営していて、個別商品のデスクトップのURLに
携帯端末からアクセスがあったとき、モバイルの同じ商品のページではなく、
モバイルサイトのトップページにリダイレクトする、
といったことにはならないようにしてください。

ごく少数ですが、モバイルサイトの検索ランキングを上げるために
このようなリダイレクトを行っているサイトもあるそうですが
そのようなことを行っても、Googleの評価が下がり、
ユーザーにとっての利便性も悪くなります。

逆に、モバイルのURLに通常のデスクトップブラウザや
Googlebotからアクセスがあった場合は、
デスクトップのURLにリダイレクトする必要は特にありません。

例えば、GoogleモバイルとYouTube(モバイル版)はリダイレクトさせずに、
モバイルページの下部にデスクトップのURLへリンクを張っています。
モバイルサイトの機能がデスクトップに比べて少ない場合、
ユーザーがデスクトップへ簡単に移動できるので便利です。

デスクトップのURLに携帯ユーザーからアクセスがあった場合、
モバイルのURLへリダイレクトする例ですが、このとき対応するURLで
アクセスできるコンテンツは、できるだけ一致させるようにしましょう。

ユーザーエージェントでの切り替えは、
クローキングと見なされないように注意しましょう。

さまざまな事情や歴史的な経緯によって、
同じURLでフォーマットやコンテンツを
ユーザーエージェントによって切り替える方式を採用しているサイトがあります。
つまり、実際にアクセスするURLは同じですが、
ユーザーエージェントの情報に基づいて、
デスクトップから閲覧した場合と携帯電話から閲覧した場合で
表示するフォーマットを変えるという方法です。

この場合、どちらの検索結果でも同じURLが表示され、
デスクトップからアクセスすればデスクトップのコンテンツが、
携帯電話からはモバイルのコンテンツが閲覧できます。
ただし、クローラーに返すコンテンツの設定を誤ると、場合によっては
サイトの偽装、いわゆる「クローキング」と見なされることがあるので、
なるべく使用は控えて、使用する場合は要注意してください。

クローキングとは、Googlebotに対して
通常のユーザーと異なるコンテンツを見せることで、
検索結果のランク付けを高めようとする行為のことです。
実際にはユーザーが閲覧するコンテンツにはないキーワードで
検索結果に表示されるなどの不便を生じるため、
クローキング行為には厳しいペナルティーがかせられます。

タグ , , , , , ,

クローラー

全文検索型サーチエンジンの検索データベースを作成するために、
世界中のWebページを回収するプログラム。
検索エンジンのクローラーはインターネットの
巡回しているプログラムです。

SEO WORD-024

また「ボット(Bot)」「スパイダー」「ロボット」などとも呼ばれています。
各ウェブサイトのHTMLのリンクを辿って
次のウェブサイトへと辿り着き、そして更に次のウェブサイトへと
巡回し、自動的に検索エンジンに登録していきます。

クローラーによって収集されたHTMLデータを扱いやすい
検索用語としてデータ化し、データーベースに登録していく
のがインデクサです。

まだデータベースに収録されていないWebページや、
更新されたWebページを発見しては内容を回収し、
結果をデータベースに反映させています。

タグ

クローラーの訪問をチェックする

各検索エンジンにURLを登録した後、検索結果に表示されるまでには通常約2~4週間程度、時間がかかります。日々検索して結果ページを探すのもいいですが、その他にクローラーが本当に巡回してくれたのかどうか確認する方法があります!

クローラーが訪問してくれた場合は、Webサーバ上のアクセスログファイル上にに足跡を残してくれます。具体的には、アクセスログファイルの中に

・Yahoo!Japanの場合:「Yahoo」「Inktomi」「Yahoo!Slurp」など
・Googleの場合:「Google」「googlebot」など

という文字が書き込まれていれば、巡回してくれたということがわかります。
一度ログファイルを開いてチェックしてみましょう!

タグ , , ,

クローラーを呼ぶには(2):Google

今回はGoogleのクローラーが対象です。

Yahoo!Japanと同様にGoogleにも、クローラーの巡回先に推薦されるためのURL登録専用ページが用意されています。登録は無料です!さっそくやってみましょう。

<手順>
1.下記ページで、サイトのトップページのURLを登録する。
「サイトの登録 / 削除」
http://www.google.co.jp/addurl/?hl=ja&continue=/addurl

以上で完了です。

タグ , ,

クローラーを呼ぶには(1):Yahoo!Japan

では、実際にクローラーにより確実に巡回してもらう方法について学びましょう。
今回はYahoo!Japanが対象です。

Yahoo!Japanには、クローラーの巡回先に推薦してもらえるのURL登録専用ページが用意されています。登録は無料です!さっそくやってみましょう。

<手順>
1.下記ページで、サイトのトップページのURLを登録する。
「検索エンジン用ロボットの巡回先への推薦」
http://submit.search.yahoo.co.jp/add/request

以上で完了です。
通常約2~4週間で、クローラーが巡回してくれます。

タグ , ,

検索エンジン(6)

検索エンジンは、検索結果を表示する元となる情報のデータベースを作るためにインターネット上のWebページを定期的に巡回してたくさんの情報を集めています。その中心となる重要なプログラムが2つありますので、紹介しておきます。

・クローラー
「crawl:這い回る」という意味で、インターネット上を隅々まで這い回って世界中のあらゆるWebページの内容の読み取って情報を集めるプログラムで す。まずは訪問したWebサイト内のリンクをたどってそのサイト内の情報を収集し、それが終わると、次に、Webサイト内の外部リンクをたどって、別のサ イトを訪問していきます。

・インデクサ
クローラーが集めてきたWebページの情報を検索エンジンのデータベースに登録するプログラムです。細かく言うと、Webページのテキストデータを解析し、ワードごとの出現率や出現位置などを分析した上で、その結果をデータベースに格納しています。

タグ , ,

検索エンジン(1)

検索エンジンについて学びましょう。検索対象やその方法によって大きく2つのタイプに分かれ、それぞれにメリット・デメリットがあります。
1)ディレクトリ型

情報の収集は、人間が行います。各Webページへのリンクがジャンル別に分類されており、階層形式での検索が可能です。

[良い点] 情報の質が良い(人の目を通して、審査・分類する為)
[悪い点] ロボット型にくらべると情報量が少ない

2)ロボット型

情報の収集は、ロボット(*)が自動的に行います。人手は介しません。インターネット上に公開されている世界中の全てのページの情報が検索対象となり、キーワードによって検索可能です。

[良い点] 情報量が多い
[悪い点] 検索結果に良質なサイトから悪質なものまでが混ざってしまう。

(*)インターネット上に公開されているWebサイトを巡回、ファイルを収集し、その情報を検索サービスのデータベースに登録するプログラムのこと。クローラーと呼ばれている。

タグ , , ,