Moz - SEOとインバウンドマーケティングの実践情報

XMLサイトマップを検索エンジンに送信するとクロールがどう変わるのかテストしてみた

Moz 2009/1/27 9:00 SEO | 解説／ノウハウ

この記事はもともとSEOmozのYOUmozセクションに掲載したものですが、非常に優れているのでこちらのブログに格上げしました。

人間誰でもそうだけど、いいものも悪いものも含めて、僕にはいろんな癖がある。この間、あるクライアントのWebサイトに取り組んでいるとき、いつものようにXMLサイトマップを作って検索エンジンに送信したんだけど、そのときに考え始めたんだ。XMLサイトマップって本当にサイトの役に立っているんだろうかってね。XMLサイトマップを検索エンジンに登録すると、どんな効果があるんだろうか。

そこで、そこそこ人気のあるブログを運営していて、WordPressとGoogle XML Sitemaps Generator for WordPressというプラグインを使っているクライアントに頼んでみたんだ。僕が作ったトラッキング用のスクリプトをサイトにインストールして、検索ロボットの動きを追跡させてくれないかってね。Google XML Sitemaps Generatorがどんなものか知らない人のために説明すると、WordPressで投稿を編集したり作成したりするたびに、新しくXMLサイトマップを作って主要な検索エンジンに送信してくれるものだ。

そのクライアントは、ブログに新しいコンテンツをだいたい週に2～3本は投稿している。僕がそのサイトにインストールしたスクリプトはPHPで記述したもので、ロボットがサイトマップにアクセスしたとき、サイトマップが送信されたとき、ロボットがWebサイトのページをクロールしたとき、逐一その動きを追跡する。そして集めた情報を、タイムスタンプ、IPアドレス、ユーザーエージェント名と一緒にMySQLデータベースに保存した。さらに僕はGoogle XML Sitemaps Generatorにも手を加えて、サイトマップを検索エンジンに送信するたびにタイムスタンプを挿入できるようにした。

結果はいかに！

この実験の目的は、グーグルやヤフーにXMLサイトマップを登録すると、グーグルがクロールして、そのページのインデックス化するのにかかる時間が短縮されるかどうかを見ることだった。で、このブログを使った実験結果には驚いた！ボットが新しいブログ投稿を訪問するのにかかった平均時間は、次のとおりだった。

サイトマップを送信した場合
- グーグル：14分
- ヤフー：245分
サイトマップを送信しなかった場合
- グーグル：1375分
- ヤフー：1773分

この時間は12本の異なる投稿の平均だ。うち6本ではサイトマップを送信し、6本ではサイトマップを送信しなかった。

データを集計してみて、何かの間違いがあったに違いないと思った。僕は、自分のサイト（GR Web Designs：宣伝になってしまって申し訳ない）ですぐに新しい投稿を作成し、グーグルとヤフーにサイトマップを送信してみた。30分後、トラッキング用スクリプトをチェックしてみると、グーグルはすでにクロールし終えて新しい投稿をインデックス化しており、ヤフーもすぐ後に続いた。

サイトマップがない場合にロボットがクロールに要する時間も計ったけど、サイトの構造に問題があって、ロボットが新しいページをクロールできないことがわかった。自分でサイトをチェックして、ほかの人にもクロール可能かどうか見てもらったけど、何も問題は見つからなかった。さらに調べてみた結果、ロボットは新しく投稿した記事に対するリンクを追加したページを調査したものの、その場ですぐにはリンク先のページをクロールしなかったこともわかった。

この記事を書くために調査していて、SEOmozの「グーグルのサイトマップに関するアドバイス——サイトの確認は行ってもサイトマップは送信するな」というランドの記事を見つけ、僕は混乱してしまった^※。サイトマップを登録するとこんなすごい結果が得られるのに、どうしてランドはXMLサイトマップを送信しないように言うんだろうってね。だけど、記事をもう一度読み返したら、ランドが関心を持っていたのは貴重な通常のクロールデータを入手することがわかった。WordPressを使っていて、すべてのページがクロール可能だとわかっているんだったら、XMLサイトマップを送信しない理由はない。とりわけ、上のようなすばらしい結果が得られるのならね。

※Web担編注　この記事中で触れているランドの記事は2007年のものでだが、2009年1月5日付の追記で彼は意見を翻し、やはりXMLサイトマップは送信すべきだと述べている。

今回の実験で使ったような、通常のクロールに何の問題もないことがわかっているサイトに関しては、XMLサイトマップを送信することをお勧めする。クロールとインデックス化にかかる時間が短縮できるからだ。リンク構造が適切かどうかはっきりしないサイトの場合には、サイトマップを登録しないほうがいいだろう。これはサイトに問題があるかどうかを判断する材料にもなる。すばらしいリンク構造のサイトを持つみなさんには、時間短縮のために今すぐグーグルとヤフーにXMLサイトマップを送信することをお勧めする。

サイトマップの利用について、SEOmoz読者の意見をぜひとも聞きたい。ただ、今回の実験は1つのサイトだけで行ったもので、みなさんからの反応がよければ、サイトマップの利用についてさらに研究を進めるかもしれない。