A/Bテストで素人が陥る罠： 神が宿るというディテールよりも先に……

ジェイソン・コーエン氏が6月に公開したA/Bテストに関する記事は、もっと注目を集めていいし、もっと詳しく掘り下げられるべきだ。オンラインマーケティングの世界にいる人間ならたいてい、クリックスルー率、会員登録率、コンバージョン率などを改善できるA/Bテストの威力を知っている。ページを訪問した人が望ましいアクションを起こす割合を高められるというのは、すばらしいことだ。

しかし、テストの仮説を立ててから、立案、開発、実行へと至るプロセスには、危険が満ちている。そして、いちばん目立たないが最も油断ならない落とし穴の1つが、実はテストの対象として何を選択するかなんだ。

グラフで見る「極小値」問題

ランディングページの各要素をテストするというのは確かに面白いし、やる価値がある場合もある。しかし、ランディングページや製品ができたばかりの段階では、適切でないことが多い。実際に、上の図にあるように、グラフにしてみると差があるように見えるものでも、絶対値を見てみると実際には1コンバージョン分あるかないかのような違いでしかない場合もある。

Conversion Rate Expertsで指摘されているように、「壁に投げつけて、何が貼りつくかを見る」ような行き当たりばったりの手法は得られる効果が小さい。訪問者が抱く疑問点を突きとめ、適切に応えていくことで、大きな差を生むことができる。

問題なのは、簡単な答えを得られるという誘惑がとても魅惑的すぎてしまうことだ。

細かな部分をテストしたくなる誘惑に負けないようにしよう

次のようなケーススタディを読んだことがある人は多いんじゃないかな。

• 「ボタンの色を赤から緑に変更→72％向上」（ダン・マクグラディ氏）
• 「『コミットメント・チェックボックス』でコンバージョン率11％増」（Conversion Voodoo）
• 「『無料』と書き足してコンバージョン率28％アップ」（VWO）
• 「人物の写真でコンバージョン率が倍増」（Carsonified）
• 悪名高いTwitterでフォローを誘う語句のテスト（ダスティン・カーティス氏）

これらはすべて、小さな変更でクリックスルー率やコンバージョン率が大幅に増加したことを述べており、幅広い称賛を勝ち取り、紹介もされている記事だ。問題は、これらは例外であって普通ではないという点だ。さらに言うなら、例外だからこそ、こうした事例がニュースとして価値をもち、これほどまでたくさん言及されているんだ。

こんな記事は読むべきじゃないとか、こういった例から学んではならないと言っているのではない（間違いなく、読んで学ぶべきだ）。ただ、この「小さな変更」という考え方は、マーケティングに携わる人を誤った方向に導く可能性があるってことなんだ。ボタンの色を変えたり、見出しを変更したり、文章を少しばかりいじったりといった、「小さな変更」を加えることで、コンバージョン率の大幅な改善を実現した経験を持つウェブサイトは非常に少ない。

自分はほかとは違うと考える十分な理由があるのなら、やってみるのもいいけれど、慎重にやろう。小さな変更は、得られるプラスの影響も小さい可能性があるというだけではない。結果に見合わないほどの時間とリソースが必要とされるからだ。