コンバージョンレート最適化（CRO）で犯しがちな6つのミスとその対処法（前編）

ある企業の担当者が、絶対に役立つと思われるコンバージョンテストを実施した。

サイトを訪問者のなかから製品デモの依頼申し込みを増やすために、ある製品ページを新しい魅力的なデザインに変更し、昔ながらのA/Bテストを実行したのだ。そのページを訪れた人の半数には以前と同じ製品ページを表示し、もう半分にはこの魅力的な新しいデザインのページを表示するようにした。

1か月間テストを行った結果、期待どおり、コンバージョン率は2％から10％にアップした。素晴らしい成果だ！ そこで担当者は、この結果を上司に報告。テストの結果に従ってすべての製品ページを新しいデザインに移行したいと訴えた。そして、上司のゴーサインをもらった。

ところが、新しいデザインのページを本格的に公開したところ、製品デモの依頼が減り始めたことに気づいた。

だが担当者は、この減少は季節的な要因かもしれないと考え、数か月間様子を見た。すると今度は、月間経常収益（MRR）まで減り始めた。

いったい何が原因だろうか。

結論から言えば、この担当者は、統計的に有意な結果を得られるほど長い期間テストをしていなかったのだ。

その製品ページは、1日あたり50ページビューしかない。したがって、そのテストで95％の信頼区間を達成するには、15万人がそのページを見るまでテストを続けならない（ただし、そのためには8年以上テストを続けることになる）。

統計的に適切なサンプル数でテストを行わずに結論を出したため、この会社のビジネスは不調に陥ってしまったのだ。

ミスを犯すリスクが高い仕事

サンプル数を誤って設定することは、マーケターがCROでよく犯すミスの1つに過ぎない。実際には不十分な調査や少ないサンプル数でテストを行い、ビジネスを不調に陥れているにもかかわらず、マーケティング戦略が向上していると勘違いする例はよくあるのだ。

だが、忘れてはいけないことがある。CROで最も重要な目的は、真実を知ることだ。誤った前提や統計的に有意性を欠くテストに基づいて重要な判断を下していては、この目的を達成できない。

本記事では、なるべく少ない時間で難しい内容を学べるようにするため、コンバージョンレートの最適化でマーケターがよく犯す間違いをいくつか紹介しよう。

マーケティング戦略をテストしたり調整したりするときは、このようなミスを心に留め、学ぶ姿勢を持ち続けるようにしてほしい。

CROで犯しがちな6つのミス

×①×CROの中心はA/Bテストだと考える。

「CROとは、A/Bテストのこと」と考えるのは、四角形を三角形と呼ぶようなものだ。A/BテストはCROの一種ではあるが、多くの取り組みの1つに過ぎない。

A/Bテストは、ある1つの変数を別の変数と比べて、どちらのパフォーマンスが優れているかを調べるだけだ。だが、CROにはさまざまな種類のテスト手法がある。そして、どのテストでも、目的はサイト訪問者に自分たちが望む行動を促すことだ。

A/Bテストをしただけで「CROを実施した」と考えているなら、テストのやり方が賢明とは言えない。A/Bテストがまったく役に立たないケースはたくさんある。

• サンプル数が十分ではなく、適切な量のデータを集められない場合を考えてみてほしい。テストしたいウェブページの訪問者が、1か月に数百人しかいないとしたらどうだろうか。統計的に有意な結果を得られるほどのトラフィックが集まるまでに数か月かかる可能性がある。

• A/Bテストをトラフィックの少ないページで実施し、6週間で終了することもできるだろう。だがそれでは、科学的なデータに基づいたテスト結果は得られない。

A/Bテストは、CROを学ぶための出発点としては最適だが、さまざまなテスト手法を学び、自分に限界を設定しないようにすることが重要だ。

たとえば、数週間程度でウェブページのコンバージョンを大きく向上させたいのなら、一度に1つの変数をテストするのではなく、複数の大きな変更を実施するほうがいい。Weather.comを例に取ろう。このサイトは、ランディングページの1つで「ページデザイン」「見出し」「ナビゲーション」など、多くの異なる要素を一度に変更した。その結果どうなったか。なんと、225%もコンバージョンが増加したのだ。

×②×コンバージョンレートのコンテキストを提示しない。

みなさんは、Weather.comでコンバージョンが225％増加したという文章を読んだとき、こう考えただろうか。

筆者の言う「コンバージョン」は、何を意味しているのだろうか。

そう考えた人は、CRO的な思考をしていると言える。

コンバージョンレートを測定する場合、さまざまな数値が対象になりうる。たとえば次のようなものだ。

• 購入
• リード情報取得
• プロスペクティング
• 購読者登録
• ユーザー登録

そのうちの何を測定するかは、ウェブページの目標によって決まる。「コンバージョンが大きく上昇しました」と言ったところで、そのコンバージョンが何を意味しているのかを伝えなければ、たいした意味はない。

Weather.comのケースで言えば、筆者が述べたのはトライアル登録者のことだ。Weather.comは、このランディングページからのトライアル登録者を225%増やした。このように言えば、コンバージョンレートの意味がはるかに明確になる。

ただし、測定基準を明らかにするだけでは、すべてを語ったことにはならない。テストを行ったのはいつだろうか。曜日や日にちによって、コンバージョンレートは大きく変わることがある。

図のようなトラフィックのパターンの場合は、有効なサンプル数の98％を3日間で獲得できたとしても、丸1週間はテストを続ける必要がある。曜日によってコンバージョンレートが変わる可能性があるからだ。

同じことは月にも言える。休日の多い12月にテストを実施して、どうせ結果は一緒だと考えて3月にはテストをしない――そういうことはあってはならない。季節的要因がコンバージョンレートに影響するのだ。

コンバージョンレートに大きな影響を与える可能性を持つものは、ほかにもある。

その1つがデバイスの種類だ。デスクトップPCからの訪問者であれば、入力欄の多いフォームでも問題ないかもしれない。だが、モバイルデバイスからの訪問者でも、同じコンバージョンレートを期待できるだろうか。その答えを知りたいなら、調査したほうがよい。

チャネルもそうだ。「平均の」コンバージョンレートには注意しなければならない。他のチャネルよりコンバージョンレートがはるかに高いチャネルがあるなら、チャネルごとに異なった対応を考えるべきだろう。

最後に、ビジネスにとって最も重要な指標はコンバージョンレートではないということを忘れないでほしい。重要なのは、最終的に会社に利益をもたらすことだ。

たとえば、製品を無料にすれば、コンバージョンレートが急上昇することは間違いない。しかし、それでは利益もゼロのままだ。ビジネスが以前よりうまくいっているかどうかを示す指標として、いつもコンバージョンレートが使えるわけではないのだ。

コンバージョンだけに注目して、本来の目的からそれてしまわないように注意してほしい。

×③×統計について完全に理解していない。

筆者がCROを学び始めたときに犯した最も大きなミスの1つは、大学の統計の授業で学んだ知識さえあればコンバージョンテストができると考えていたことだ。これは、実験を行うだけでは科学者になれないのと同じことだ。

統計はCROを支える柱だ。統計について完全に理解していなければ、正しいテストを行えず、マーケティングの取り組みが大失敗に終わる可能性がある。

たとえば、次のようなことを考えてみてほしい。

• 有効なサンプル数が98％に達する前にテストを切り上げてしまったらどうなるだろうか。

• 90％で十分ではないのだろうか。

その答えはノーだ。理由を説明しよう。

統計的有意性は、賭けのオッズのようなものだと考えてほしい。オッズが90％のテスト結果に賭けたいと本当に思うだろうか。90％の有意性でテストを行って勝ち負けを決めることは、

90％の確率でこのデザインが正しいことがわかったので、すべてをこのデザインに賭けます

と言うようなものだ。90％ではまったく十分ではないのだ。

統計の復習が必要になったとしても、慌ててはいけない。それには訓練と練習を行う必要がある。そうすれば、今よりはるかに優れたマーケターになれるだろう。そして、今よりはるかに厳密なテストを行えるようになるのだ。

手始めに、クレイグ・ブラッドフォード氏が執筆したMozの記事を読んでほしい。この記事では、サンプル数、統計的有意性、信頼区間、コンバージョンレートの変化量について説明している。

この記事は、前後編の2回に分けてお届けする。今回の記事では、CROで犯しがちな6つのミスのうち3つを紹介した。後編となる次回は、残る3つのミスについて説明する。→後編を読む