無駄なことに関わり合わないための、分かりやすい簡単な数学

無駄なことに関わり合わないための、分かりやすい簡単な数学

コンバージョン率の最適化がとても得意な人がいるとしよう。A/Bテストや多変量テストは比較的簡単にこなし、頼りになる直観力ももっている。また、ランディングページやテストページのトラフィックはそれなりに、まあ、1日数千件程度はあるとする。

こうした理想的な条件下でさえ、かなりの問題が出る。

どのテストも正確さに高い確信が得られるまでにはかなりの時間がかかること、また細かい（針が動く可能性が小さい）テストの方が「より多くの」時間がかかることを考えれば、まず大きなアイデアや大きな変更から始める方がいいというのはうなずける話だ。

だが、理由はそれだけではない。そこそこ満足できるページなりコンセプトなりがあり、小さな部分のテスト、つまりは極小値に近いような程度の最適化をやり始めたとする。テストを4～6か月間続け、コンバージョン率が全体で5％改善し、かなり満足する結果が得られるかもしれない。

だがそれも……その時間を使って、別の大きな新しいアイデアを実行に移していたら、より大きな改善に成功していたとしたらどうだろう。そうなれば、初めてテストしたばかりの荒削りでまだ最適化もなされていない新しいページを見ながら、コンセプト全体が劣っているこれまでのページの最適化と仕上げにかけてきた時間が、いかに無駄だったかを思い知ることになる。

こういう状況に陥って、いらだちを募らせていくさまが目に見えるようだ。だからこそ僕は、まず大きなアイデアや大きなプロジェクトから始め、テストに値するグランドプランをいくつか確定し、どれがいいかをユーザーに選んでもらい、それから改良し、調整し、磨きをかけることをお勧めする（コンバージョン率最適化の腕利きたちも、多くが同じようなアドバイスを僕にしてくれた）。

何をテストすべきか

「大きなアイデア」や「より大きな改善」というのは、具体的には何を意味するのだろうか。運よく、37Signalsが7月6日付けの「Basecampトップページのデザイン変更」と題した記事で、すばらしい実例を提供してくれている。

全体的に新しくしたトップページ（下）は、古いトップページ（上）に比べて14％の改善を記録した。これから先は、さらに別の革新的なコンセプトを試してもいいし、新しいページで細かな部分の最適化を始めてもいい。14％という数字は、小さなテストで大きく改善できた希少な例ほど魅力的には響かないけれど、Basecampはきわめて適切な方法で取り組んでいると僕は考える。以前のトップページに「小さな変更」を加えたら、もしかすると大幅な改善が得られたのかもしれないが、この新しいトップページによってコンバージョン率の底上げができたわけで、ここに変更を加えれば、その分だけ大きな恩恵を得ることができる。