Moz - SEOとインバウンドマーケティングの実践情報

こんなにあるクローキングの実態/許されるクローキングと許されないクローキング (前編)

今日はまず、グーグルのクローキングに関するガイドラインからの引用を読んでほしい。

user-agent に基づいて異なる結果を表示するサイトは、偽装の意図があると見なされ、Google インデックスから削除される場合があります。

この1文の中には重要な言葉が2つある。「場合があります」と「user-agent(ユーザーエージェント)」だ。

さて、不正な意図を持って不正な方法でクローキングを行えば、グーグル(それ以外の検索エンジンでも)のインデックスからサイトを排除されてしまう「場合がある」のは確かだし、それが目に余る場合には、排除されること間違いなしだ。しかし多くの場合、クローキング自体は、ユーザー体験から見ても検索エンジンから見ても、正当な行為なんだ。

まず、現在、ペナルティもなく排除もされずにクローキングを行っているウェブ資産をリストアップしてみよう。

  • グーグル
    google toolbar」「google translate」「adwords」など、何でもいいからグーグルの資産で検索してみて、検索結果に表示されたURLに注目。そうして、検索結果をクリックしてみると、ランディングページのURLは、必ずと言っていいほど検索結果のURLと異なっている。さらに、こういうページでは多くの場合、ログインしているか否かにかかわらず、キャッシュに保存されているのとは違う内容が表示される可能性がある。

  • NYTimes.com
    インタースティシャル広告(ページ遷移時に表示する挿入広告ページ)、記事リンクを5回クリックすると表示されるログイン/アカウント作成の要求、アーカイブインクルージョンではすべて、検索エンジンと人間とで見えるコンテンツが異なる。

  • Forbes.com
    1ページ全面を使ったインタースティシャル広告を見なければ、トップページにすらたどり着くことができない。そして大半のページにおいて、人が見ているものと、グーグルの「キャッシュに保存されている文章」は内容が大きく異なる。

  • Wine.com
    Wine.comでは、リンク経路に応じてリダイレクトが行われているほか、州を選択するオーバーレイがあって、価格(それ以外のページも)を見るためには配送先の地域を選ばなければならない。しかし、検索エンジンはこのプロセスを省略できる。

  • WebmasterWorld.com
    最初のページだけなら登録メンバーでなくても読めるという「First click free」機能は、現在では広く受け容れられているが、WebmasterWorld.comは、これを早くから取り入れているパイオニアだ。ただし、(IPアドレスが正しい場合に限り)Googlebotは、登録しなくてもすべてのコンテンツにアクセスできる。

  • Yelp.com
    クッキーを使って地理情報に基づくジオターゲティングを行っている。これは、何千とまではいかなくても、何百ものサイトが利用している非常に人気の高い地域ターゲティング手法だ。

  • Amazon.com
    SMX Advancedでは、アマゾンの商品ページにおけるクローキング問題が指摘されていたが、アマゾンはそのほかにも、ブラウザがクッキーを受け入れる設定になっている場合に、サブドメイン名の「buybox.amazon.com」やナビゲーション経路による商品提案でおもしろいことをたくさんやっている。

  • iPerceptions.com
    iPerceptionsのサイト自体はクローキングを行っていないが、iPerceptionsのポップアップオーバレイはクッキーを受け入れることのできる人間の閲覧者にだけ表示され、これが現れるのはどうやら数百サイトに及ぶようだ(これがグーグルのスタッフの1人のプロジェクトであることは言うまでもない)。

  • InformationWeek.com
    Googlebotとしてこのサイトを訪問してみれば、広告が少なくインタースティシャル広告もない、はるかにすっきりしたブラウジング体験が得られるだろう。

  • ComputerWorld.com
    検索エンジンロボットではない人間のサーファーには、インタースティシャル広告やポップアップ、さらにはいくつかの奇妙なJavaScriptまでもが待ち受けている。

  • ATT.com
    訪問した人ごとに、リンクもコンテンツも異なるランディングページが表示される。

  • Salon.com
    君がGooglebotなら、最初に表示されるインタースティシャル広告なんて見なくても済むんだけどね(^-^)。

  • CareerBuilder.com
    君や僕が見せられるURLは、検索エンジンロボットが目にするURLとは全然違う。

  • CNet.com
    人間の場合、最新型デジタルカメラのオーバーレイ広告を見なきゃ、トップページに到達することさえできない。

  • Scribd.com
    僕らが見ているドキュメントは、検索エンジン用に用意されたHTMLテキスト形式のドキュメントと(フォーマットおよびアクセシビリティの点で)かなり異なっているようだ。

  • Trulia.com
    ちょうど先週Sphinnで伝えられたとおり、Truliaは提携サイトや自分たちのサイトのページ上で、おもしろいリダイレクトをやっている。

  • Nike.com
    グーグルで調べてみると「nike.com」を含むURLが数十万件インデックス化されているが、君がFlashを有効にしていた場合、こういうURLは実際には存在しない。

  • Wall Street Journal
    有料会員でなければ、閲覧できるのは各記事冒頭の数段落だけで、その下には鬱陶しい「有料会員登録のお勧め」が表示されるんだが、ユーザーエージェントをGooglebotに切り替えるだけで、これを回避できる。

このリストはまだまだ何百件でも続けられるけど、ポイントは明らかだよね。つまり、クローキングは必ずしも悪いことではないってこと。そして、必ずしも禁止されているわけではないので、うまく使えばクローキングでかなり気の利いたことができるってこと。しかし、そのためには、以下の条件のどちらかを満たしていなければならない。

  • A)ちょっとぐらい逸脱してもグーグルが怒らないぐらい大手のブランドであること。
  • B)ユーザーにもエンジンにも優しい配慮をもって、完全に正当な方法でクローキングを行うこと。

この記事は前後編の2回に分けてお送りする。今回はペナルティもなく排除もされずにクローキングを行っているサイトを紹介したが、後編では、クローキングを「真っ白」から「真っ黒」まで5段階に分類したランド独自の「クローキング評価尺度」をお届けする。→後編を読む

この記事が役に立ったらシェア!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

カオスマップ
企業やサービスや製品などについて、カテゴリーや関係性でまとめて図にしたもの。具体 ...→用語集へ

連載/特集コーナーから探す

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]