２ちゃんねるでブログ関係のスレッドを見ていると、なかなか上位表示が難しかったり、Googleの検索結果からくるお客の割合が少なかったりなどという理由から、よく「seesaaはグーグルから嫌われている」という意見を見ることがあります。
実際、このブログのアクセス解析を見てみると、検索サイト全体に対するグーグルの割合は約31％、YahooとGoogleの割合は65：35となっています。まぁ差はあるものの、正直そんなに騒ぐほどじゃないなという感じですね。
ところが、ここ以外でもseesaaブログを運営しているのでそちらのアクセス解析を調べてみた結果が・・・。
検索サイト全体に対するグーグルの割合はたった11％、YahooとGoogleの割合はなんと87：13という、おそろしいことになってました(笑)
サイト自体の構成とか内容とか、様々な要因があるので一概には言えませんけれど、検索結果で上位を狙えないと言われるに足る、信憑性のある１つの理由があります。
みなさんはGoogle Sitemapを利用していますか？
自分の運営するサイトをここに登録すると、いつクロールされ、どの程度クロールが完了し、検索で訪れる人がどんなキーワードを使っているかなど、様々な情報を得ることができます。
その中には、robots.txtについての情報もあります。
robots.txtとは、サイトを検索結果に表示させたくない時などに、サイト管理者がクロールに来た検索botに対して制限を加えることができるものです。
⇒通信用語の基礎知識：robots.txt
seesaaブログのrobots.txtは、現在こうなっています。
User-Agent: YahooSeeker
Crawl-delay: 5
YahooSeekerというUser-Agentをブロックし、かつクロール頻度を５秒間隔に制限しています。（参考：Ask.jp）
ちなみにYahooSeekerというのは、「ブログ専用のインデックス化ロボット」のようです。⇒「YahooSeeker - Yahoo!のブログ専用ロボット」参照
しかしここによるとブログ専用botはすでに「Yahoo-Blogs/v3.9」に変わっているようで、現在でも「User-Agent: YahooSeeker」が有効なのかは不明ですが。
話を戻します。
seesaaブログで現在設定されているrobots.txtは、先月までは以下のような感じのものでした。
Disallow: category
Disallow: archives
つまりカテゴリと過去ログをクロール対象から除外していたんですね。理由は言うまでもなくseesaaサーバの負担軽減でしょう。ただでさえ重いのに、これ以上クローラーの処理で負担を生じさせたくないという考えによるものです。
しかしこの制限が、グーグル検索上でのseesaaの順位を下げる結果になった１つの原因と言われています。グーグルにとっては、ページ分析のデータ収集が制限されてしまうのですから当然といえば当然です。（スパム行為が横行しているなど、ほかにも多々あるわけですが・・・）
先月末頃に、この「カテゴリーとアーカイブのクロール拒否」を解除したことで、「Googleサイトマップ」上では徐々にアクセス拒否リストが減りつつあります。（※robots.txtによりクロールできなかった場合、そのURLがリストアップされます）
しかし今度はYahooを制限したことで、そちらの影響が出てくるかも知れませんね。
トラックバックは削除させていただきます。あらかじめご了承ください。
コメントを書く