テストと最適化のスペシャリストに学ぶ | Google Analytics 日本版 公式ブログ

ウェブサイトに新しい機能やページデザインを導入するときに、テストを実施しないケースはどのくらいあるでしょうか。

理想としては、サイトに変更を加えるときは、どのようなものでも事前にテストを実施した方がいいでしょう。しかしウェブサイトによっては、トラフィックが少なすぎてテストを実施しても信頼できる結果が得られない場合もあります。ユーザーの目標達成を妨げるようなバグの場合は、テストを挟まずにすぐに修正した方がいいこともあります。少なくとも改善案を導入する際は、事前にアナリティクスのデータを調べたり、ユーザーテストやアンケートなどの定性分析を行ったりして、検証してからにした方がいいでしょう。トラフィック量が十分にある場合はテストを実施します。

私のチームの業務は、テストの実施や今後のテストプランの策定を通じて、広告主様のウェブサイトの顧客体験を改善する方法を見つけ出すことです。ユーザー エクスペリエンスのスペシャリスト集団である私たちは、新たに企業のコンサルティングを開始する際は、まず次の 3 点を伝えるようにしています。

1. 改善によって非常に大きい効果が見込めます。テストによるコンバージョン率の上昇が「たった 5%」だったとしても、収益増を期待できます。
2. 何が効果的かはサイトによって異なります。他の似たようなサイトで効果が出ている推奨事項や「成功事例」がいくらあったとしても、それが広告主様のターゲット ユーザーやビジネスにも効果的とは限りません。
3. 失敗を想定し、そこから学ぶことに重点を置きましょう。テストには時間がかかるうえ、どのテストで効果的な改善策が見つかるかは定かではありません。失敗を受け入れ、そこから教訓を得ることが大事です。

「すぐ公開」から「テストして学習する」という考え方に切り替えるには、時間と労力が必要です。大手企業は成長を生み出す文化を醸成しています。データとテストを重視し、顧客体験を常に最適化していく文化です。こうした考え方を持つ広告主様と仕事をすることで得た重要な教訓を、以下で紹介していきたいと思います。


上層部のサポートを得る
私たちは広告主様との初めての打ち合わせの際は、意志決定の権限を持つ方に参席していただくようお願いしています。上層部の承諾がなければ、テストしたい改善案が日の目を見ることはないかもしれません。また、コンバージョン数を増やすための方法としてテストを提案しても、マーケティング部門の責任者や CEO の心を動かすことはできないはずです。大事なのは、テストを実施することで、収益や利益などのビジネス目標にどのような効果があるのかを示すことです。そうすれば、「テストが重要なことはわかっていたが、こんなに小さな変化によって収益にこれほど大きな効果が出る可能性があるとは思っていなかった」というように、意思決定者は考え直してくれるでしょう。

上層部の承諾が得られれば、必要なリソースを得て、すでにテストに取り組んでいる人員の生産性を高めることができます。しかし最適化に着手する人員は 1～2 人であることがほとんどで、コンバージョン率の最適化に精通した中堅のウェブ デザイナーやデータ アナリストが、単独で取り組むケースが多くなっています。

一方で、テストにしっかりと力を入れている企業もあります。プロダクト マネージャーのチームと、データ サイエンティストやコピーライター、ウェブ デザイナー、デザイン心理学者などの専門家チームが連携してプロジェクトに取り組んでいるケースも少なくありません。

ヒント: 組織内で成長の企業文化の醸成を主導する 3 つのタイプの人材をご覧ください。


優先順位を決める
すべての改善案を一度にテストすることはできませんが、当て推量で優先順位を決めるのも避けなければいけません。

コンバージョン率の最適化をテーマにしたイベントで、EMEA 地域の広告主様を対象にアンケート調査を実施したところ、回答者の 38% が当て推量で優先順位を決めていると答え、14% が HiPPO（給料が最も高い人間の意見）で決まっていると答えました*1。しかしできればその代わりに、過去から得られた教訓やリソースの要件を考慮して優先順位を決めるようにしましょう。

導入速度と効果の大きさを軸とした図に各テスト案の位置を書き込み、すぐに導入できて大きな効果が見込めるテスト案から優先して実施するようにします。HiPPO を説得するにあたって、過去から得られた教訓に説得力を持たせるために、それまでのテストの結果をすべて記録しておくことも有効です。

ヒント: テストしやすく、特に大きな効果が期待できそうな改善案からはじめましょう。


テストに本格的に取り組めるスタッフを増やす
テストによる分析データを共有して成果が上がりはじめると、やがて参加するスタッフの数が増えてきます。そうした新しいスタッフには、どのテストにも応用できる基本的な枠組みを教える必要があります。

テストは一連のサイクルの一部です。テストの成否が出たとしても、その結果がすべてのユーザーに当てはまるのか、一部のセグメントのユーザーにしか当てはまらないのかを考える必要があります。テストの結果を分析しましょう。特に失敗したテストをしっかりと分析し、そこから得られた知見をすべてのタッチポイントでのカスタマー エクスペリエンスの向上に生かします。そのうえで次のテストに取り掛かります。

テストを含む一連のプロセスに、スタッフが継続的かつ積極的に取り組めるようにすることも重要です。共有ドキュメントを用意し、あらゆるスタッフがウェブサイトやアプリの改善案を提示できるようにしましょう。特に効果が高かった改善案に点数を付けるようにして、ゲーム形式を採り入れるのも有効です。テストの前に、高い効果が出る改善案を予想してもらうのもいいでしょう。結果が出たら、予想が的中したスタッフに報奨を与えます。


ヒント: スタッフがテストと最適化に積極的に取り組めるようにする 3 つの方法


失敗を生かす
テストはその性質上、多くの失敗を伴います。一般的なウェブサイトではテスト項目が 10 件から 100 件、あるいは 1,000 件にも上ることがありますが、効果が大きい改善案が見つかるのはそのうちのごくわずかでしょう。しかしもちろん、その 1 つの改善案によってコンバージョン数が 5%、あるいは 10% 増加するのであれば、テストが収益にもたらす影響は非常に大きなものとなりえます。

前述のイベントで EMEA 地域の広告主様を対象としたアンケートを実施した結果からは、テストの回数が月に 1～2 回の広告主様は成功率が 51% でしたが、テストの回数が月に 21 回を超えている広告主様は、成功率が 17% まで下がることがわかっています*2。

最初のうちは改善の余地があるポイントを見つけやすく、改善も容易ですが、テストの回数が増えていくほど、より小さなポイントに焦点が移っていきます。つまりテストの回数が増えるほど「成功率」は低くなっていきます。Nest のビジネス成長部門を率いる Jesse Nichols はこう話しています。「テストの成功率は 10% くらいですが、すべてのテストから教訓が得られます。」

テストと最適化の詳細については、『How to Build a Culture of Growth』をダウンロードしてお読みください。


*1、*2 の出典: 2016 年 9 月に開催された Conversions@Google 2016（コンバージョン率最適化の現状をテーマとするイベント）で、EMEA 地域からの参加者 145 名を対象に実施されたアンケート調査に基づきます。


投稿者: Max van der Heijden、Google のユーザー エクスペリエンスおよびコンバージョンのスペシャリスト、EMEA 地域担当