真っ白～真っ黒 5段階のクローキング／許されるクローキングと許されないクローキング (後編)

この記事は前後編の2回に分けてお送りしている。前編ではペナルティもなく排除もされずにクローキングを行っているサイトを紹介したが、後編となる今回は、手法や意図によってクローキングを分類した「クローキング評価尺度」についてお伝えする。

以下の図は、僕なりのクローキング評価尺度だ。

各戦術について、いくつか例を挙げて解説しよう。

• 真っ白

  SEOmozには、Q&Aページやリンクディレクトリ、PROガイドなど、PRO会員向けのコンテンツがある。これらはPROメンバーしか利用できないコンテンツなので、検索エンジンおよびPROメンバーでない人が見ることはできない。厳密に言うと、検索エンジンと一部のユーザーに対して異なるものを表示しているわけだが、これはクッキーをベースにしていて、完全に検索エンジンが望むやり方に従っている。

  コンセプトから言えば、Google NewsのFirst click freeプログラムに参加して、すべてのコンテンツを検索エンジンに知らせるということも可能だが、今のところそれはやっていない。

• 概ね白

  craigslistは地域ターゲティングの手法を用いて、訪問者がどこの人で、どの都市のページを見たがっているかを判断する手がかりとしている。

  グーグルは、craigslistが検索エンジンロボットも同様に扱うかぎり、これは許容できると公式に述べた。しかしもちろん、ロボットが人間と同じ扱いを受けているなんてことはない。ロボットは、グーグルのキャッシュでしか見られないページ（または、ユーザーエージェントを変更した場合にしか見られないページ）にリダイレクトされる。でも、これは理にかなった処理で、検索エンジンが地域ターゲティングされたページに誘導されてはならないのだ。検索エンジンは、すべての場所に遍在するユーザー（あるいは、禅問答的な解釈およびIPアドレスによる地理情報によれば、どこにも存在しないユーザー）のように扱われなければならない。

  たしかに、これはガイドラインに反しているが、特に意図と機能性の観点からはきわめて白に近いと言ってよく、問題が生じる可能性はほとんどない。

• やや灰色

  僕は、今この戦術を使用しているサイトを名指しして「アウト」を宣告しようとは思わない。ただその代わりに、どのような場合に「やや灰色」と見なされるのか、その例を挙げておきたいと思う（よく注意して見ていれば、この種の戦術を用いているサイトが上記の例の中にもいくつか見つかるはずだ）。

  ページ分割された記事をたくさん掲載しているサイトあるとしよう。記事は1本が何千語というレベルの長いものであるため、ユーザー体験の見地からもページ分割は価値がある。しかし、各ページには別々にリンクが張られており、「1ページで表示する」URLと、「印刷用の」URL、「友人にメールで送る」ためのURLが存在し、それらがすべてインデックス化されている。記事がおもしろければ、ユーザーがそれをredditなどのサービスに投稿するのはよくあることで、その際に、印刷用のバージョンにリンクを張る人や、ページ分割された記事の2ページ目以降にリンクを張る人もたびたび出てくる。検索エンジンは複製コンテンツを山ほど扱っているので、サイトは検索エンジンがどのバージョンの記事にアクセスしてきても、それを検知して、1ページですべてを表示するURLに301リダイレクトする。しかし、検索結果をクリックしたビジターはページ分割されたバージョンの記事の先頭ページに誘導される。

  もう一度言おう。厳密に言えばこういった手法を用いているサイトはガイドラインを逸脱している（それに逸脱の度合いも、「概ね白」の例より若干大きい）が、意図としてはまだ善良で、実際MSNやAsk.comのように、複製コンテンツの検出や正規化があまり得意でない検索エンジンには助けになっている（さらに、公平を期すために言っておくと、ヤフーやグーグルでさえこの手法をかなり歓迎している）。つまり、

  善良な意図＋期待に沿うポジティブなユーザー体験＋不当と言われる戦術の使用＝やや灰色

  なのだ。大手ブランドのサイトの大半は、こういう手法を使ってもまったくお咎めなしだ。

• かなり灰色

  またまた、ここでも実在するサイトを名指しするのではなく、架空のサイトを例としてして説明しよう。

  アフィリエイトプログラムに参加している人は数多くいる。そして、その大半は、追跡のためにクリックを把握するとともにリンクジュースの流出を防ぐ目的で、JavaScriptを使ってリンクをリダイレクトしている。こうしたことに詳しいサイトのオーナーのなかには、アフィリエイトプログラムのリンクジュースがどれほどの価値を持ちうるかをよく知っていて、自分たちのアフィリエイトシステムを、リンクジュースが渡せるよう設定している人もいる。その際によく使う手法が、リンクを専用のページに集めて、検索エンジンのロボットを301リダイレクトし、検索順位を上げるために外部リンクを必要としている自分のドメイン名上のページにリンクジュースを渡す、というものだ。

  これがもう少しずる賢くなると、パートナーや最も高額の入札者に、このリンクジュースを売ったり、リンクジュースの一部を譲ったりする。これによって必ずしもアフィリエイトのリンク先をチェックしに来たビジターに影響が及ぶわけではないが、検索エンジンはそもそもアフィリエイトのリンクをカウントしたいと考えていないし、トラフィックを受け取るはずのないページの順位がそうしたリンクのせいで上がることを望んでいないのも確かなので、これは人為的な検索順位操作と見なされる可能性がある。

• 真っ黒

  実は、これをやっている真っ黒けのスパムを見つけたので、その情報をみんなに伝えようと思う。ついこのあいだ僕は、サイトマップを使っているサイトがどれくらいあるか、おおよそでもいいから調べられないかと思って、グーグルで「inurl：sitemap.xml」を検索したんだ。すると第9位に「www.acta-endo.ro/new/viagra/sitemap.xml.html」という変なURLがあって、これは人間のサーファーを医薬品のページにリダイレクトしていた。検索エンジンに見えないだけでなく、検索クエリと無関係なコンテンツに不正に誘導する検索結果など、間違いなく真っ黒だと言える。

さて、正直な話、僕たちはクライアントにこれまで、「真っ白」と「概ね白」のやり方を薦めてきた。それから、「やや灰色」もまあOK。そうすることに意味がある場合には、これからもこの方針は変わらない。検索エンジン側も表向きはそうした手法を非難するかもしれないが、エンジンはすべて、ある程度のクローキングを（通常は少なくとも「やや灰色」まで）許容しているし、それによってユーザー体験が向上し、アクセシビリティもよくなるのであれば、ブランドまたはサイトのそうした行為を奨励さえしている。

ここで言いたかったのは、ブラックハットだとかグレーハットだとか言われているからといって、それだけの理由で、その戦術を使うのを恐れるな、ということだ。自分でリサーチし、自分の考えをまとめる。そしてクライアント以外のサイトでテストし、自分のビジネスあるいは自分のクライアントにとって最も道理にかなったことをする。僕らが恐れなければならないのはただ1つ、恐怖そのものだ（あと、なんでもかんでも禁止してしまうこと − これはかなり稀だけど）（^-^）。

追伸：この記事から汲み取るべきは「サイトをクローキングすべし」などということじゃない。僕は単に、クローキングに関して、単純に黒か白かだけで判断する柔軟性のない態度は再考の余地があるんじゃないか、と言いたいだけだ。