Moz - SEOとインバウンドマーケティングの実践情報

クロールされているけどインデックス化されていないページの謎

まずはXMLサイトマップ、クロール、インデックスの簡単なクイズに答えてみてほしい。

今回は短めの記事にしたいと思う。Mystery Guestとの結婚1周年の小旅行から戻ったばかりだし(ちなみに旅行はとても楽しかった)、留守中に届いた山のような電子メールをチェックしなきゃいけないからね。

ではまず、簡単なクイズだ。次のうち正しいのはどれだろう?

  • A) 自分のページはXMLサイトマップに入れてあるので、確実にクロールされている。
  • B) 自分のページはクロールされているので、確実にインデックスに入っている。
  • C) 自分のページはインデックスに入っているので、確実に検索結果に表示される。
  • D) 上記のいずれも正しくない。

AやBやCだと思った君、おめでとう、君は検索エンジンがこれらをどのように処理しているのか十分に理解せずに(まあ無理もないけど!)SEOをやっている、大勢のうちの1人だ。簡単な図を作ってみたから、それを使って説明しよう。

インデックス化のレベル
検索エンジンはウェブをクロールした上で、どのページをインデックスに入れるかさまざまな指標に基づいて決定する。ひとくちにインデックス化といっても、それには次のような複数のレベルが存在する。
A. メインインデックスに永久に保存される(といっても、WWWの世界で「可能な限り永久に近く」という意味だけど)
B. メインインデックスに一時的に保存される(一時的なリンクの変化によるものなら、そのうちインデックスから外れる可能性がある)
C. 補足インデックスまたは二次インデックスに保存される(PageRankが低い、リンクジュースが少ない、重複コンテンツがあるなど、理由は様々だ)
D. 専門分野別/バーティカル検索用のインデックスにのみ保存される(例えばグーグルのブログ検索やGoogle Base、Bingの画像検索など)
F. クロールはされるが、インデックスには入らない(これは多くの場合、PageRankが低い、リンクジュースが少ない、あるいは引用やリンクが削除されたせいだ)
F-. クローラーに見えてはいるが、クロールはされない(これはおそらく、重要度の低いページからしかリンクを獲得していないせいだ)
0. クローラーに見えていない(外部リンクをまったく獲得していない新設のサイトやブログ、ページでよくあることだ)
下から上への矢印:PageRankが上がる/リンクジュースが増える
mozbotのセリフ:ドメインのオーソリティーが高くなるほど、検索エンジンがそのサイト内からクロールし、インデックス化するURLは増える。
googlebotのセリフ:その通り、mozbot君。このことは個々のページにも当てはまるんだ。リンクが多くて、PageRankが高いページほど、私がインデックスに残す可能性は高くなるんだよ。
ランドのコメント
mozbotはちょっと背が低いから、台の上に乗せてやる必要があった。――ランド

ここに書いたのは別に驚くような知識でもないけど、たとえばXMLサイトマップに入っている、グーグルのブログ検索の検索結果に表示される、グーグルのウェブマスターツールで確認する限りクロールされているなど、必要な条件は満たしているはずなのに、なぜかページがトラフィックを集めないその理由について、SEOに詳しくない人たちに説明する上では役立つものだと思う。

ある1つの(または複数の)ページが検索エンジンのメインインデックスに本当に含まれているかどうか確認したいのなら、次の2つの方法さえ知っておけば大丈夫だ。

  1. そのページが検索結果に表示されるクエリを実行する(ただし、URLに「&filter=0」を追加する必要はない)。

  2. トラフィックログをチェックして、クエリ経由のトラフィックがたくさんあるかどうかを確かめる。

どこかの検索エンジンから少なくとも月に1度は訪問を受けているページの数、という指標を僕が好んで用いる理由はここにある。この数字がプラスの方向に動いていれば、少なくとも検索エンジンが自サイトのページをインデックスに入れて(そこに残して)くれていることが確認できる。

この記事が役に立ったらシェア!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

インデックス
検索エンジンがWebページをデータベースに保存しているデータベース。データベース ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]