Moz - SEOとインバウンドマーケティングの実践情報

こんなにあるクローキングの実態／許されるクローキングと許されないクローキング (前編)

今日はまず、グーグルのクローキングに関するガイドラインからの引用を読んでほしい。

user-agent に基づいて異なる結果を表示するサイトは、偽装の意図があると見なされ、Google インデックスから削除される場合があります。

この1文の中には重要な言葉が2つある。「場合があります」と「user-agent（ユーザーエージェント）」だ。

さて、不正な意図を持って不正な方法でクローキングを行えば、グーグル（それ以外の検索エンジンでも）のインデックスからサイトを排除されてしまう「場合がある」のは確かだし、それが目に余る場合には、排除されること間違いなしだ。しかし多くの場合、クローキング自体は、ユーザー体験から見ても検索エンジンから見ても、正当な行為なんだ。

まず、現在、ペナルティもなく排除もされずにクローキングを行っているウェブ資産をリストアップしてみよう。

グーグル
「google toolbar」「google translate」「adwords」など、何でもいいからグーグルの資産で検索してみて、検索結果に表示されたURLに注目。そうして、検索結果をクリックしてみると、ランディングページのURLは、必ずと言っていいほど検索結果のURLと異なっている。さらに、こういうページでは多くの場合、ログインしているか否かにかかわらず、キャッシュに保存されているのとは違う内容が表示される可能性がある。
NYTimes.com
インタースティシャル広告（ページ遷移時に表示する挿入広告ページ）、記事リンクを5回クリックすると表示されるログイン/アカウント作成の要求、アーカイブインクルージョンではすべて、検索エンジンと人間とで見えるコンテンツが異なる。
Forbes.com
1ページ全面を使ったインタースティシャル広告を見なければ、トップページにすらたどり着くことができない。そして大半のページにおいて、人が見ているものと、グーグルの「キャッシュに保存されている文章」は内容が大きく異なる。
Wine.com
Wine.comでは、リンク経路に応じてリダイレクトが行われているほか、州を選択するオーバーレイがあって、価格（それ以外のページも）を見るためには配送先の地域を選ばなければならない。しかし、検索エンジンはこのプロセスを省略できる。
WebmasterWorld.com
最初のページだけなら登録メンバーでなくても読めるという「First click free」機能は、現在では広く受け容れられているが、WebmasterWorld.comは、これを早くから取り入れているパイオニアだ。ただし、（IPアドレスが正しい場合に限り）Googlebotは、登録しなくてもすべてのコンテンツにアクセスできる。
Yelp.com
クッキーを使って地理情報に基づくジオターゲティングを行っている。これは、何千とまではいかなくても、何百ものサイトが利用している非常に人気の高い地域ターゲティング手法だ。
Amazon.com
SMX Advancedでは、アマゾンの商品ページにおけるクローキング問題が指摘されていたが、アマゾンはそのほかにも、ブラウザがクッキーを受け入れる設定になっている場合に、サブドメイン名の「buybox.amazon.com」やナビゲーション経路による商品提案でおもしろいことをたくさんやっている。
iPerceptions.com
iPerceptionsのサイト自体はクローキングを行っていないが、iPerceptionsのポップアップオーバレイはクッキーを受け入れることのできる人間の閲覧者にだけ表示され、これが現れるのはどうやら数百サイトに及ぶようだ（これがグーグルのスタッフの1人のプロジェクトであることは言うまでもない）。
InformationWeek.com
Googlebotとしてこのサイトを訪問してみれば、広告が少なくインタースティシャル広告もない、はるかにすっきりしたブラウジング体験が得られるだろう。
ComputerWorld.com
検索エンジンロボットではない人間のサーファーには、インタースティシャル広告やポップアップ、さらにはいくつかの奇妙なJavaScriptまでもが待ち受けている。
ATT.com
訪問した人ごとに、リンクもコンテンツも異なるランディングページが表示される。
Salon.com
君がGooglebotなら、最初に表示されるインタースティシャル広告なんて見なくても済むんだけどね（^-^）。
CareerBuilder.com
君や僕が見せられるURLは、検索エンジンロボットが目にするURLとは全然違う。
CNet.com
人間の場合、最新型デジタルカメラのオーバーレイ広告を見なきゃ、トップページに到達することさえできない。
Scribd.com
僕らが見ているドキュメントは、検索エンジン用に用意されたHTMLテキスト形式のドキュメントと（フォーマットおよびアクセシビリティの点で）かなり異なっているようだ。
Trulia.com
ちょうど先週Sphinnで伝えられたとおり、Truliaは提携サイトや自分たちのサイトのページ上で、おもしろいリダイレクトをやっている。
Nike.com
グーグルで調べてみると「nike.com」を含むURLが数十万件インデックス化されているが、君がFlashを有効にしていた場合、こういうURLは実際には存在しない。
Wall Street Journal
有料会員でなければ、閲覧できるのは各記事冒頭の数段落だけで、その下には鬱陶しい「有料会員登録のお勧め」が表示されるんだが、ユーザーエージェントをGooglebotに切り替えるだけで、これを回避できる。

このリストはまだまだ何百件でも続けられるけど、ポイントは明らかだよね。つまり、クローキングは必ずしも悪いことではないってこと。そして、必ずしも禁止されているわけではないので、うまく使えばクローキングでかなり気の利いたことができるってこと。しかし、そのためには、以下の条件のどちらかを満たしていなければならない。