統計的有意性をマスターして広告効果測定・A/Bテストを正確に行おう! | SEO Japan

SEO Japan - 2010年4月13日(火) 11:02
このページは、外部サイト SEO Japan の情報をRSSフィード経由で取得して表示しているため、記事の一部分しか表示されていなかったり、画像などが正しく表示されなかったり、オリジナル記事が意図したデザインと異なっていたりする場合があります。
完全な状態のオリジナル記事は 「統計的有意性をマスターして広告効果測定・A/Bテストを正確に行おう!」 からご覧ください。
「統計的有意性」とはいきなり専門用語で引いてしまいそうですが、内容はサーチエンジンランドの記事だけに分かりやすく説明されています。広告のクリエイティブテストをする方も増えていると思いますが、こういう知識を身につけていないとせっかくのテストも実は全く信頼できないものだった、、、と言うことに成りかねません。 — SEO Japan


「統計的有意性」の概念は、検索マーケティングで最も誤解されている概念の一つに数えられる。私は、2つのクリッスルー率の差が“統計的に有意”なのかどうか査定しても欲しいと頼まれることがある。そんな時、誰もが大きな差を確信した顔で尋ねてくる。
「金曜日のクリックスルー率(CTR)は2%だった。でも、土曜日は3%だった。と言うことは50%アップしたことになるんですよね?50%は大きな進歩ですよね?」と訊かれるのだ。所得税率だったら確かに大きな差になるが、CTRの差に関しては必ずしも大きな変化とは言えない。もし、金曜日に100回のインプレッションのうち2回クリックされ、土曜日に100回のインプレッションのうち3回クリックされていたらどうだろうか?これでも大きな差と言えるだろうか?
数回のインプレッションでは、2.5%のCTRなのか(そして、片方は2回しかクリックされておらず、もう片方は3回しかクリックされていなかったのか)、それとも、実際に大幅にCTRが異なるのかを判断することが出来ないため、このような問題が起きるのだ。
もっと極端なケースを想像してもらいたい。ある広告のCTRが2%で、別の広告のCTRが100%だっと仮定する。インプレッションは4回で、すべてクリックされていた。これはCTRが2%の広告からみると、どのようなデータだと言えるだろうか?
もしこれがCTRが2%の広告のデータだとすると、最初のインプレッションがクリックを生む可能性は2%となる。これは、トランプをよくきった後に、スペードのエースをランダムに引き当てる可能性とほぼ同じである。そして、次のインプレッションがクリックを生む可能性は2%であり、トランプを再びシャッフルし、再びスペードのエースを引き当てる可能性と変わらない(イカサマなしで)。
そのため、2%のCTRに対して4回のインプレッションから4回のクリックが生まれる可能性はとても低い。しかし、(当然ではあるが)可能性はゼロではない。たったCTR2%の広告であっても、4回のインプレッションから4回のクリックを発生させることが出来るのだ。繰り返そう、可能性は低いものの、不可能ではない。
だからこそ、2つの広告のCTRには差があるのかどうかを問われた際に、統計学者がすぐに答えを出さないのだ。“統計的有意性”はイエスorノーで答えるものではなく、偶然に発生することのないある一連のイベント(スペードのエースが連続で出る可能性など)が起きる可能性に過ぎない。インプレッションが増えれば答えの確率も上がるが、確実な答えを出すのに十分な情報量は存在しない。
慣習により、統計学者は、差が“統計的有意性”か否かを特定するために、ランダムの一言で説明がつく確率を5%に区切ることが多い。そのため、マジシャンが一組のトランプから狙ったカードを引き当てると宣言し、実際にお目当てのカードを引き当てると、平均的なギークが、“統計的にありえない!”と喜びの声を上げて興奮する。当該のカードが幸運によって引き当てられる可能性は5%以下だと知っているからだ。
次に、私たちが2つの広告を持っていると仮定しよう。広告AのCTRは2%で、広告BのCTRは下のグラフのX軸で表される。このグラフは、2つの広告のCTRが異なる確率が95%になるインプレッションの回数(1つの広告につきの回数)を表示している。

もし、広告Aに対する100回のインプレッションのうち2回クリックされており(CTR2% )、広告Bが同じくインプレッション100回中に14回クリックされていたら(CTR14% )、95%の確率で、広告BのCTRがAのCTRよりも高いと言える。広告BのCTRが3%であったなら、広告BのパフォーマンスがAを上回ることを95%の確率で確証を持つためには、4,000回近くのインプレッションが必要になる。そのため、金曜日と土曜日の広告のパフォーマンスの間に確認されたCTRの差が、インプレッションが200回のみだった場合は、大きな差だとは言い難い。
広告BのCTRが2%に近づくと、2つの広告を区別するためのデータがさらに必要になる。CTRが2.00%の広告とCTRが1.95%(もしくは2.05%)の広告を区別するためには、それぞれ100万回以上のインプレッションが必要になる。また、2つの広告が共にCTR 2.00%で同じようなパフォーマンスを見せている場合、どんなにデータが豊富でも両者を区別することは出来ない。
上述したコンセプトを理解してもらえたとは思うが、残念ながらCTRの差を調べるウェブベースのツールの中にはこの点を完全に無視しているものもあるようだ。
例えば、ある広告が25%のCTRで1回クリックされ(インプレッションは4回)、もう1つの広告は100%のCTRで2回クリックされた場合(インプレッションは2回)、ブライアン・ティズリー氏とペリー・マーシャル氏が提供するスプリットテスタードットコムは、“約99%の確率でこの2つの広告が長期的に異なる反応を示す”と言う答えを出す。たった6回のインプレッションで99%?!私には信じられない。コインを4回トスして、1回“表”が出て、もう1つのコインを2回トスして2回とも“表”が出たからと言って、いずれかのコインの表の出る確率が50%から外れることを99%の確率で確信することなど出来ない。
(恐らく)グレン・リビングストン博士が提供するスーパースプリットテスタードットコムも同様のサイトで、同じような欠陥を抱えている。広告Aが4回のインプレッションで1回クリック(CTR 25%)され、コンバージョンは1(100% CR)であり、広告Bは2回のインプレッションで2回クリックされ(CTR 100%)、コンバージョンが1(50% CR)の場合、スーパースプリットテスターは、“広告Bは広告AよりもCTRが高く(99%のコンフィデンス・レベル)”、“広告Aは広告Bよりもコンバージョン率が高い(80%のコンフィデンス・レベル)”と言う答えを出す。
正直に言わせてもらうと、私が99%の確証を持って言えることは、ティズリー氏、マーシャル氏、そして、リビングストン氏は、コンピュータのコードを見直し、何が誤りをもたらしているのかを確認した方がいいだろう、と言うことだ。
マッキンゼー・クォータリーで、グーグルのチーフエコノミストのハル・バリアン博士が、「私は今後10年間のお薦めの職業は、統計学者だと言い続けています。私が冗談を言っているのだ思っている人もいるようですが、コンピュータのエンジニアが1990年代に魅力的な職業になると予想することが出来た人はいたでしょうか?」と述べている。
その通りだ。1990年、“ホームページ”もしくは“eメール”が何かを知っているのは、少数のギークだけだった。10年後、知らない人の方が少なくなった。同様に、現在、検索マーケティング業界では、統計的有意性を特定する信頼区間を確定する等の基本的なコンセプトさえも難解だと思われている。しかし、この業界は、このような計算を行えるのは、もはやギークだけではないことを急速に理解しつつある。

この記事は、Search Engine Landに掲載された「Statistical Significance: Not Just For Geeks Anymore」を翻訳した内容です。
This article on Features: Analysis first appeared on Search Engine Land.
© Copyright Third Door Media, Inc. Republished with Permission.

上記を読んでお分かりの通り、統計的有意性を意識してテストを行うと、かなりのボリュームが必要になるんですよね。CTR2%とCTR14%の差でさえ、95%の確証を得るには、4,000回近くのインプレッションが必要になる、と。CTRが2.00%の広告とCTRが1.95%の広告、つまる0.05%の差になると、それぞれ100万回以上のインプレッションが必要とは!アドワーズ広告でちまちまテストしている微妙なクリック率の差の信頼性を疑いたくなるようなデータですが・・・汗 もっとも、95%と言う高い確証の場合ですけどね。
現状利用できるA/Bテストツールの多くが、統計的有意性を全く考慮していない、と言う批判が後半ありましたが、我々が提供しているDLPOは、ばっちり対応していますのでご興味ある方は是非。テストプランニング時から有意性で求める確率の設定まで行うことができますし、結果でも確証性が一目瞭然です。と、最後に宣伝になってしまいました m(_ _)m — SEO Japan
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

Web業界の転職情報

もっと見る
Sponsored by

今日の用語

被リンク
自分のサイトにリンクを張ってもらうこと、または張ってもらったリンクのこと。 ...→用語集へ

連載/特集コーナーから探す

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]