もっと真っ当な形で検索エンジンから情報を集めたい

今週は関心の中心が、検索エンジン界におけるデータの透明性にある。検索エンジンが用意する情報は、企業をウェブ上で最適化し成長させるビジネスにとって、ものすごく重要だ。ところが、現在はそのデータの入手に問題があり、多くの企業が、検索エンジンの利用規約に違反するデータ抽出手法を使わざるを得ない状況だ。

ここでは特に、大規模なウェブ運営の成功に欠かせない情報を2つ取り上げよう。

1つは重要キーワードにおけるランキング（競争相手に対する表示位置）、もう1つはリンクデータだ（現在はYahoo!が最も正確だが、MSNでも入手できるしフォーマットの質は落ちるがGoogleにもある）。

マーケティング業者や企業が、こうしたデータをのどから手が出るほど欲している理由がわかるだろうか。

まずはランキングから。

• 大規模なサイトでは特に、各ランキングが自社の活動と競合相手の活動に応じて変動する。サイトの微調整、広報活動、マスコミの報道、そして最適化戦略について、ランキングで監視することを怠れば、真っ当な企業でも、ランキングのデータを追跡しこれに基づいて理に適った意思決定を行なう競合企業に敗れてしまう。

• ランキングは目安になる。つまり、企業が全体的な到達性を検索結果で判断し、特定領域の拡大や成長が論理的に意味があるのか否か予測するのに役立つ。コンテンツの拡張方法、新たにターゲットとするキーワード、新しいマーケットで生き残れるかなどを企業が決断する際には、広範なランキングデータから抽出できるビジネスインテリジェンスが重要になる。

• ランキングはそのままトラフィックに対応させることができる。企業はこれを基に、広告活動、到達範囲の拡大、提携などの検討が可能だ。

続いてリンクデータについて。

• その時々のリンク情報を使うと、マーケティング業者は、特定のリンクビルディングや広報および報道活動が、サイトのリンク状況に与える影響を知ることができる。分析プログラム内でリンクを参照すれば、こうしたデータの一部は入手できる。

  しかし、多くの人々は、検索エンジンが認識しカウントしているリンクについて、もっと強い関心を持っている。こうしたリンク情報のデータには、トラフィックをもたらす以上の内容を含んでいることが多いからだ（中にはトラフィックをもたらしつつも無視されたり、カウントされないものもある）。

• リンクデータが、バイラル型キャンペーンの追跡や評判の管理において、参考になることもある。繰り返しになるが、分析に使う項目を完全に網羅している訳じゃない。

• 競合に基づくリンクデータは、大半のマーケティング業者にとって決定的に重要なものだと言っていい。ほかの方法ではたどり着けない情報だからだ。

あえて明確にしておくと、みんなの想像通りSEOmozは検索エンジンに対してスクレーピング（情報の抽出）を行なっている。これは、無料公開ツールのためや、内部研究目的で実施しているが、クライアントのためにやろうかと検討したこともある（もっとも、利用規約を外れて入手したデータで商売することについては、真剣に憂慮しているんだけど）。検索業界ではたくさんの大企業（数社はうちの10倍から20倍の規模）がこれを行なっている。それはなぜか。検索エンジンのAPIが正確じゃないからだ。

そこで、検索エンジンが持つ能力とデータソースを1つずつ見ていこう。僕らは各検索エンジンについて、数十万件（少なくともだ）のデータ得ているので、これらシステムの働きを評価するのに好都合な立場と言える。

まずはGoogleから（GoogleのAPI一覧）。

• 「SOAP Search API」が提供するランキング結果は、ほとんどのデータセンターとかなり異なっている。情報はたいてい全くの役立たずで、実に有害だ。自分の位置付けを錯覚してしまう。

• 「AJAX Search API」は、本来はウェブサイトに組み込む用途のもので、その目的ならば入手できる情報の質が高いと言える。しかし、満足な統計情報を提供するという仕事には全く使えない。

• 「AdSense API」と「AdWords API」ついては、正直な話、使ったことがない。でも、広告の正しい順番を通知しない上、一度に8件以上の広告を表示することもないという事実から、マーケティング業者がこの種のデータを必要としても、この2つのAPIは役に立たないことがうかがえる。

続いてYahoo!（Yahoo!のAPI一覧）だ。

• 「Search API」は、Yahoo!の実際のランキングをある程度正確に反映した情報を提供する。しかし、時おり全くかけ離れたものになることがあるため、あてにはできない。GoogleのAPIよりYahoo!の方が、遥かに僕らのデータポイントと一致しているけれど、スクレーピングした結果に比べれば、マーケティング業者や企業にとって役立つにはほど遠い。

• 「Site Explorer API」は、インデックス化されたページ数とYahoo!が知っているリンクデータに関する限り、その情報は素晴らしいものだ。僕らはこの情報を、Yahoo!の検索結果（「linkdomain:」「site:」といったクエリを使用）やSite Explorerのページからスクレーピングした情報と比較してきたけど、返ってくる結果とはわずかの違いしかない。ただ、それでもやっぱり最善の数値は、検索結果の最後のページで表示するものだ。

• 「Search Marketing API」は、全く試していない。経験がある人の話を聞いてみたい。

次はMSNに行ってみよう。

• RSSの結果を使えば、スクレーピングの必要はないため、僕らもこれを使っている。この情報を提供しているMSNを称賛しよう。またMSNでは「Web Search SDK」も提供しているが、まだ試していない。ただ1つの問題は、MSNの評価だ。まるで外れていて役に立たない。リンク自体は有用なんだけど。

最後はAsk.comだ。

• ちょっと見つけにくいけど「XML.Teoma.com」のページでは検索結果のスクレーピングができる。Ask.comは気にしていないようだが、何もはっきりしたことは言っていない。ともあれ、これもまた素晴らしい。結果はしっかりしている上に正確で、Ask.comのクエリにも一致しているようだ。あとは、Ask.comがリンクを提供するだけだ。

「ねぇ、スクレーピングが機能しているなら、なぜ検索エンジンが提供するAPIの出来を気にするんだい？」と、多くの人が不思議に思うだろう。

率直に答えると、スクレーピングは検索エンジンを損ない、検索エンジンのユーザーを損ない、さらに言えば最も実用的なデータ入手方法じゃないからだ。例を挙げて説明しよう。

• スクレーピングを行なう際は、検索エンジンに見つかって締め出されないように、そのクエリをできるだけ実際のユーザーが行なうクエリに似せる必要がある。すると、検索エンジンの技術者たちが、ウェブ検索の改善に活用しているクエリデータに影響を及ぼしてしまう。

• また、スクレーピングのクエリは広告主にも影響を与える。広告主が目にするインプレッション数は実際のものと異なってしまい、クリックスルー率（CTR）が不自然に低い数字になる。

• スクレーピングのクエリは、検索エンジンのリソースを奪う。どんなに重いスクレーピングクエリでも、検索エンジンのサーバーにほとんど影響しないとはいえ、迷惑なことには変わりない。

こうした否定的な要素がある一方で、データを取得する上で誘因もあることを考えれば、何が必要なのかは明らかだ。すなわち、マーケティング業者や企業が、検索エンジンを損なうことなく必要なデータを入手できることに他ならない。それを実現するには、次のような方法がある。

• サイトの検索ランキング順位をリファラー文字列の中で提供する。この方法はランキングデータなら上手く働くけど、リンクデータでは上手くいかない。Yahoo!（とGoogle）はその都度リダイレクトでリファラルを送ってくるため、この要素をはめ込むのは難しくないだろう。

• APIを正確かつ完全で、制限のないものにする。

• 上の選択肢が無茶だというのなら、検索エンジンがAPIのクエリに課金する手もある。このようなデータを必要とする人は、喜んでお金を払うだろう。その上、品質管理にも役立つかもしれない。

• リンクデータについては、Google SitemapsやYahoo! Search Submit（Google Analyticsでもいい）のようなプログラムで、正確かつ総体的なデータを提供する方法がある。当然ながら、確認した後に自分自身のサイトに関するデータを入手するだけで済む。

今週、多くの検索エンジン関係者に改善策の話をした（敬称を略して申し訳ないけど、JeremyにPriyank、MattやAdam、それからAaronにBrettなど）。あとは、良い結果を待つだけだ。