誰もが受けたい！アクセス解析5分クリニック

デザイン変更をテストしましたが、結果に確信が持てません。どうすればいいですか？

今回は「A/Bテスト」とは？さらには、そもそも「正しいテスト」とは？を考えてみる。

17 18 17

医者：丸山先生（35歳・男）
当クリニックの代表。

研修医：来栖あきら（25歳・男）
イケメンの研修医。

研修医：綾瀬ゆい（25歳・女）
優しい天然ボケの研修医。

ここ「アクセス解析5分クリニック」には、Webサイトについてさまざまな悩みを抱えた患者が、毎日のようにやってくる。研修医の来栖と綾瀬はデコボココンビだが、院長の丸山先生がとにかく名医。たった5分ですべての悩みを解決する！というのだ……。（登場人物紹介を詳しく見る）

今回のお悩み
デザイン変更をテストしましたが、結果に確信が持てません。どうすればいいですか？

デザインを変えて成功したように思えたが

12月のコンバージョン率が悪かったので、試しに1月にアクションボタンの色を、赤から青に変えてテストしてみたんだ。そしたらコンバージョン率が0.3％上がったんだよ！

そうなの!?　私も青色にしようかしら。

でも、その後の結果があまりよくなくて。結局、3月には元のコンバージョン率に戻ってしまったんだ。

テスト結果は本当に正しいのか？

来栖君は「0.3％上がった」と言ったけど、いつのデータと比べて判断したのかな？

12月と1月を比較しました。

それはひょっとすると色の変化ではなく、季節変動などの影響でコンバージョン率が変化しただけかもね。あと、コンバージョン率だけに注目しているけど、アクセス数はどれくらい？

アクセス数はあまり多くなくて、1か月300くらいです。

サンプルサイズも小さい可能性があるね。

来栖君が行ったのは「赤か青か？」つまり「AかBのどちらが優れているか」を判定するテストだ。そういうテストを「A/Bテスト」というんだ。

厳密にいうと来栖君が今回行ったのは本当の「A/Bテスト」ではないのだけれども、そのあたりも含めて、A/Bテストの注意点を説明していこう。

A/Bテストでは、「テストの目的」が重要

まず、A/Bテスト実施時は、次の3つに気を付けよう。

「テストの目的」をしっかり意識する
「母集団」（目的に沿った対象者）を選ぶ
偏りなくランダムに「標本」を抽出する

さて、今回の来栖君の「テストの目的」はなんだっけ？

サイト訪問者が青色か赤色が好きかを判定することです。

そのテスト目的に意味はあるかな？　赤でも青でも、どちらでも構わないということはないかな？

僕もわからないので、それをテストしたつもりです。

テストしようという心構えは大切だ。しかし、もっと大切なのは、最初にテスト目的をしっかり考えることだ。そのためには、たとえば、

ページの背景色やページ内で使っている画像の色味とのバランスで考えると、ボタンの色が赤だとデザインがなじんで注目されにくくなっているのではないか、だとすると、アクションボタンの色を現在のページ構成でもっと目立つものにすることで、訪問者の意識がボタンに集まりやすくなり、結果としてコンバージョン率が高くなるのではないか。

といった明確な「仮説」を立てて、それを検証するためにテストしなければいけない。

そもそも、「どちらでもよい」という場合は、テストしても「どちらでもよい」という結果しか出ないからね。

え、テストして、結果が出ないこともあるのですか？

よくあるよ。来栖君のように誤解している人も多いけど……。結果を出すコツは差が出やすい大胆なテストを作ることだね。でも、大胆なテストを作るには、目的意識がしっかりしていないとできない。テストには手間と時間がかかるから、最初にしっかり考えようね。

「母集団」と「標本」

次は、目的に添った対象者を選ぶことと、偏りなくランダムに抽出することだね。「母集団」と「標本」と呼ぶのだけど、この2つは一緒に考えたほうがわかりやすい。一言でいうと「誰を相手にテストしたの？」という話だ。

僕は、12月と1月のサイト訪問者を順番にテストしました。

今回はここが問題だ。たとえば、全国大学生の学力平均を知りたいのに、東大生だけに聞くのはあきらかに間違っているよね？　つまり、“目的に対して、偏ったデータを集めてテストしてはダメ”ということだ。

でも、12月全体と1月全体との比較なので、偏っていないですよね？

うーん……。きっと変化はあるよね。12月はクリスマスで購入モードだし、1月はお正月でお休みモードだし。十分偏っているんじゃない？

そう。12月と1月では、来栖君がテストしたい「通年のサイト訪問者全体」という母集団のなかでは、データが偏っている可能性が高い。それでは残念ながらテストにならないんだ。

だから、来栖君のコンバージョン率の変化は「適切なA/Bテストの結果」ではなく、「なんとなく試してみたら、たまたま違いが出た」に過ぎないんだ。

適切なA/Bテストを自動的に実施できるツールを使う

正しいテストをするには、「通年のサイト訪問者全体」という母集団から、偏りなくデータ抽出する必要がある。

でも時期によって偏りもありますし、綺麗にランダム抽出なんてできないですよ。

そう無理だ。でも、来栖君のサイトで、ある月のユーザーの傾向が、「通年のサイト訪問者全体」と似ているといった期間はないかな？　そうであれば、たとえば「3月のユーザーからランダム抽出することで、似たような結果を出す」といったことができる。

図1　3月の訪問者全体が通年のサイト訪問者全体に似ているならば、「3月からランダムに抽出（標本）したユーザー」は、「通年のサイトの訪問者全体」の形によく似る

でも、「3月の訪問者全体」でも、月の前半と後半に分けてテストしたら、やっぱり何らかの理由で偏りが出ますよね？たとえば、第三者のブログやツイッターでそのサイトのことに言及されたら、その期間はまた違う状態になってしまいます。

良い点に気がついたね。そのとおり、手動でA/Bテストを行うと、どうしても季節要因や外部要因の影響を受けがちなんだ。ではどうすればいいかというと、A/Bテストを適切に行ってくれるツールを使うんだ。

ありがたいことに、自動でA/Bテストを実行できる高機能なテストツールをGoogleが無料で提供してくれているんだ。そのツールの名前は「Googleウェブサイトオプティマイザー」というものだ。

Googleウェブサイトオプティマイザー

テストツールを使うと、何が違うのですか？

ツールが統計的な計算をした上で、テスト期間中のアクセスを自動的にランダムに振り分けてテストを実行してくれるんだ。最初に設定してしまえば、しばらく後に、どちらが良かったか結果を教えてくれる。

それはすごいですね！　どのくらいの期間でテストが終わるのですか？

期間は決まっていない。テストで重要なのは、「結果の差が明確なこと」と「サンプルサイズが大きいこと」なんだ。逆に、この2つが満たされていない限り、「ちゃんとA/Bテストで比較した」とは言えないと考えてよいだろう。

そんな！　それじゃぁ困ります。僕は1か月くらいで早く結果が知りたいです。

テストというのは、よりよい方法を高い確度で選ぶために実施するのだよね？　でもその前に判断してしまうというならば、テストそのものに意味がなくなってしまうよ。

もしウェブサイトオプティマイザーを使うならば、おおよそのテスト期間を知ることはできる。以下のツールを使ってみよう。

ウェブサイトオプティマイザー - 期間計算ツール

まとめ

早く結果が知りたいという気持ちはわかるけど、テスト結果を信頼するためには、適切なサンプルサイズに対して結果に明確な差が現れていることが大切なんだ。

あと、よくある間違いは、目的なく「赤と青のどちらがよいか？」と単純な理由で実施すること。根拠がないテストで少し違いが出たとしても、それは時期が経つと逆転してしまうことも多い。気を付けよう。

テストを実施するならば、次の3つのポイントを考慮しよう。

テストの目的を明確にし、大胆なテストを作る
テスト目的に沿う母集団を決める
母集団に対してツールを使ってテスト。あとは結果が出るまで我慢する

いずれも、Web担当者としてのユーザー理解に基づく「仮説」がベースになることは忘れてはいけない。

また、テストではなるべくツールを使おう。ランダムにアクセスを振り分けたり、統計の計算を自動で行ったりしてくれる。ツールを使わずにサンプルサイズが小さい中で判断している人は多いけど、それでは結果の信頼性が危うい。

中小企業はアクセスが少ないために、テスト結果が出るまで待てないことも多いと思うけど、それならば、自分の勘を信じてどんどん進めてもよいと思う。

最後に補足になるけど、最もコンバージョンに影響を与えるのは「人」だ。

たとえば、腹ペコの人は、汚いラーメン屋でも、のれんをくぐるでしょ？　「サイトの外見」よりも「お客さんの“空腹感”の違い」が結果に大きな影響を与えるんだ。常に「1人1人のお客さん」が大切なんだから、それを忘れずにテストや判断を行っていこうね。