グーグルの検索結果に人の手が加わっている可能性はあるのだろうか？

僕らがやってるような仕事をするときには、検索エンジニアのように考えてやらなきゃいけないと、以前ランドが言っていた。そんなことがあって、1、2週間ほど前、「もし自分が検索エンジニアだったらどういうものの見方をするか」思いついたので、それが正しいかどうか確かめてみたんだ。

……僕は間違っていた。

僕の思いつきはこうだ。

僕が検索エンジニアなら、アルゴリズムに検索結果を決めさせたい。だけどその結果は、検索量の多いクエリだけでも、手作業で妥当性を確認する。検索量のかなり多いクエリについては、できればこの時点で、「正しい」検索結果になっていてもらいたいものだ。少なくとも、アルゴリズムが出した検索結果の1ページ目は、僕が希望した通りになっていてほしい。

当然の帰結としてこうなる。

そうならなかったときは、当座は検索エンジンができる限りうまく機能するようにアルゴリズムに手を加える一方で、検索頻度が高いフレーズの結果の上位を手作業で編集することを真剣に検討する。

ここで大きな疑問点がある。検索頻度が非常に高い一般的なクエリにおいて、「正しい」答えとはどうあるべきかか、ということだ。これは別の機会に考えるとしよう（一般的なクエリでは、検索結果の1ページ目に表示されてもおかしくないサイトが100件くらいある。その中から選ぶには、検索者について、たぶん人間には持ちえないほどの知識が必要だ）。はっきりさせておこう。ここで論じたいのは、現時点のアルゴリズムでどのページが検索結果の上位に来るべきかではなく、検索エンジニアのようにゼロから考えたとき、どのようなページが上位に来るべきなのかだ。

僕の考えを検証するために、ポーカー用語の検索結果を見てみることにした。ポーカーのことが心に引っ掛かっているのは、僕の誕生日に兄（今週賞を取った、おめでとう）にカジノへ連れて行かれてお金をすったからかな。

検索頻度の異なるフレーズを3つ選んでみた。

• poker（ポーカー）
• free online poker（無料オンラインポーカー）
• rakeback（レイクバック：ポーカーの掛け金払い戻し金アフィリエイトに関する用語）

それから、10日間にわたって検索結果のトップページを分析した。

僕の帰無仮説は、検索頻度が非常に高い（pokerのような）フレーズは、10日間を通じてずっと順位が動かない、というものだった。裏で検索結果の順位が手作業で編集されているか（この場合は毎日編集されている確率は非常に低い）、エンジニアが結果に満足しているかのどちらかだ（ここで再び検索エンジニアの身になって考えてみよう。こういう一般的なフレーズの検索結果の上位について、日ごとに考えが変わるような理由なんてあるだろうか？）。

僕は科学的な言葉でいろいろと表現してきたが、僕がやったこのささやかなテストが完璧だとは思わない。これを台無しにしてしまいそうな要因はたくさんあるが、できる限りそうした要因を抑えながら、僕が得たことを示すのが以下のグラフだ。

これらは時間ごとの順位の変化を示したグラフだ。X軸が時間（2008年10月28日から11月6日まで）で、Y軸がGoogle.com（gl=US）での順位を表わしている。＋や×、▲などの記号は個々のページを表している（ほとんどはそれぞれ異なるWebサイトだ。集めた検索結果の中には、同じサイトで検索結果に表示されるページが入れ替わったという例はない）。

ページを表す記号にはサイト名などを表示していない。僕の結果が君の検索結果と一致するかどうかとか、ランクインし続けているかどうか（またはその戦略や不正操作など）が問題ではないからね。興味深いのはグラフのパターンだ。

まずは、「poker」の検索結果から。

「poker」の検索結果の推移

いずれにせよ、これで僕が間違っていたことがわかるはずだ。

「poker」の検索結果は手作業で編集されたかのような動きをする（たとえ実際にはそうでないとしても）と僕は予想していたのだが、実際には以下の2点で予想を裏切った。

1. 結果は最初の3日で、ほぼ全面的に変化した。これはいまだに信じられない。検索エンジニアとしては、こういう検索頻度の高いフレーズで毎日検索結果ががらりと変わる（このテストを行った10日間、検索結果に影響を与えるようなニュースはなかった）ことをどんな理由で望むというのだろう？
2. 週の後半は同じような結果が続いたが、それでも部分的に大きな変化があった。

次に、「free online poker」だ。

「free online poker」の検索結果の推移

「free online poker」の検索結果は、検索頻度の高いフレーズに関する僕の予想にずっと近い動きを示した。これはアルゴリズムが使われている証拠だ（4日目だけに登場したページは、その後に順位が急落し、今は60位近辺にいる）。これは、何らかの不正操作があったせいで順位が落とされたんだと思う（深くは検証しなかった。今回の分析では大して問題ではない。人手による検索結果の編集で上位を獲得したとは思えないからね）。このページを除けば、順位はほぼ安定しており、変化も緩やかで、まったくと言っていいほど意外性はなかった。

次に「rakeback」を見てみよう。

「rakeback」の検索結果の推移

僕は「rakeback」のパターンが気に入った。トップ3が平穏で、それより下は混沌の世界だ。自分が第4位にいるページだったら気に入らないだろうけど、それはまた別の話。上の2つからわかる範囲を考えれば、このグラフからそれほど大したものが得られるとは思えないが、データは集めたので、万全を期すためにこのデータも入れた方がいいだろうと思ったんだ。

それでは、ここから何を教訓として引き出し、最初の仮説にフィードバックして修正し、最終的にどんな結論が得られるだろうか。コメント欄でぜひ意見を聞かせてほしいな。僕が思ったのは次のようなことだ。

• 方法論まず、これは科学的研究ではないことを認めたい（実際どうなっているかを理解するには、検索上位に表示されたページのリファラーデータを見る必要があるだろう。検索頻度の高い検索について、そういったデータにアクセスすることは不可能だ）。
• テスト僕が正しくて、頻度の高いクエリの結果が手編集されていた場合に出そうな結果が実際出ていたとしても、グーグルはデータに基づいて行動しようとするから、ユーザーが満足しているかどうかを確認するために、さまざまな手法をテストしてみたいと考えるだろう。
• スパムアルゴリズムは「ほぼ的確」だが、「free online poker」の結果でちらっと現れたように、まだ攻撃に弱い面もある。
• ニュース「QDF」（Query Deserves Freshness：話題の新鮮さ優先の検索）アルゴリズムが働いている場合、当然のことだが、検索結果は定期的に変動する。特にタイムリーな結果が入れ替わり立ち替わり現れたということはないから、今回の例ではQDFアルゴリズムは働いてなかったと思われる。

君はどう思う？