ANAサイトでコンバージョンを25%以上改善させた多変量テスト、そのROIは広告と比べるとどうなのか?

全日空（ANA）が、同社サイトにおける国内線の料金紹介ページを改良し、25%～30%の改善をみせた多変量テスト手法とは？
そして、テストによる改善のROIは広告と比べるとどちらが高かったのか？

飛行機のチケットはインターネットで買うという人が増えたいま、航空会社のウェブページは旅行代理店の窓口と同様の機能を持っている。その「窓口」で、いかに顧客に価値を理解してもらい、快適に買い物をしてもらえるかは、航空会社の売り上げに直結する。

全日空（ANA）では、同社サイトで重要度が高い国内線の料金紹介・購入ページを多変量テストによって改善することで、予約完了率を大幅に改善した。

利用したテストツールは、オートノミーのOptimost（オプティモスト）。プロジェクト立ち上げからわずか3か月、テスト期間は約2週間で25%以上の改善率を達成したその背景や、同じ費用を広告出稿に使った場合とのROI比較について聞いた。

サイト企画を出すと役員が「A/Bテストは？」と聞く社風

ANAのWebサイトでは、航空券の予約・空席照会・運賃案内やツアーなどを購入できる。

大野 晃 氏
全日本空輸株式会社
プロモーション室
マーケットコミュニケーション部

飛行機の運賃にはいろいろな種類がある。「何日前に買えば何割お得」といったプランが複数あり、どのように買えばお得かネットで調べる人も多いだろう。ANAのウェブサイトは、そういった人のニーズに応える役割も果たしている。

ANAのウェブサイトを統括しているのは、同社プロモーション室マーケットコミュニケーション部のウェブチームで、コンテンツ制作は協力会社と、インフラの運用はグループ会社のANAシステムズと一緒に行っている。

すでに航空会社のウェブサイトは売上げに直結する場である。そのため同チームでは定期的にサイト改善を行っているが、テストツールなどを使用した大規模な最適化を数年ぶりに行った。2012年末～2013年初頭にかけてのことだ。プロジェクトが立ち上がった理由は、「トライアンドエラーしてみないと課題も見つけられない」（大野氏）からだ。

最適化といっても集客施策の改善やサイトの改善、さらには既存顧客に対するメールやソーシャルメディアでのコミュニケーションなど、さまざまある。同社が今回のプロジェクトで対象にしたのは、サイトにおいてどんな情報をどう表示するとコンバージョン率が向上するかをテストする「多変量テスト」だ。

ここでいう「テスト」とは、実際にサイトを訪れるユーザーに対してさまざまなパターンでコンテンツを表示するウェブテストの手法のこと。Web担当者やデザイナーの思い込みでページを作るのではなく、どのパターンのページを見たユーザーがコンバージョンしやすかったかをデータで判断することにより、サイトの成果を伸ばす手法として導入が増えている。

ウェブテストには、「A/Bテスト」と「多変量テスト」がある。「A/Bテスト」は、あらかじめ複数のページを作成しておいてユーザーごとに見せるページのURLを切り替える手法。「多変量テスト」は、ページ内の複数の要素をユーザーごとに変えて出すことで、どの組み合わせが最適化を判断する手法。今回ANAが採用したのは多変量テストのほうだ。

興味深いのが、「ANAでは何かする際にはIT系の担当役員に『テストをしたのか』と聞かれる」（大野氏）ほどに、ウェブテストの重要性が経営層にも理解されているということ。そのため、今回の多変量テストによる改善提案も、社内では当然のように企画として理解されたという。

ツールを導入するだけでなく運用フェーズでもプロの協力を得る

ウェブテストを実施するといっても、手動で公開ページの内容を切り替えるわけにはいかない。テスト用のツールを利用することになる。

同社ではプロジェクトの前段階として、A/Bテストや多変量テストを行うさまざまなツールを検討した。「検討したなかで最終候補に残ったのは、これまでサイト分析ツールを利用していた企業が提供するテストツールと、オートノミー社のOptimostでした」（大野氏）。

これまで同社ではアクセス解析などに関して、ある企業の製品群を利用していたのだが、今回のプロジェクトでテストツールとして最終的に採用したのは、その企業の製品ではなく、オートノミーのOptimostだった。

関沢 宏介 氏
全日本空輸株式会社
プロモーション室
マーケットコミュニケーション部
宣伝チーム

選定のポイントは、運用フェーズを含めたコンサルティングサービスだという。

「どちらのサービスもコンサルティングは提供してもらえるのですが、運用フェーズでのコンサルティング提供に違いがありました。

もう1社のツールは最初にコンサルテーションをしてもらい、その後は自分でツールを使ってテストしていく形でした。それに対してOptimostでは、導入時のコンサルテーションだけでなく、テストから最適化まで継続してコンサルティングを提供してもらえる形でした。

設計、実行、分析すべてにわたって全面的に、プロのコンサルタントの知見をもって協力してもらえる点で、今回はOptimostを選択しました」（関沢氏）。

もちろんフリーのツールを使って自分でテストすればコスト的には安くあがるが、そのためにはテストに関する知見が内部に必要だし、工数もかかりテスト自体が業務の負担になることもある。ANAの場合には、人材的にもスキル的にも潤沢ではなかったため、運用フェーズを含めてコンサルティングが提供されるOptimostを選択したのだ。

特に今回は期間を区切って行うプロジェクトだったため、コストもそれほど負担にはならない。もちろんOptimostのツール自体も、「感覚的に、やりたいことの制限があまりなく、使い勝手がよかった」（関沢氏）ともいう。

短期間のプロジェクトのため、社内リソースの不足をフォローしてくれる運用フェーズでのコンサルテーションが提供されるサービスを選択しました。

テスト対象は最もアクセスの多いページを選定

ツールが決まったあとは、テストの流れとしては、次のようなものとなる。

1. テストのゴール（目的）を設定する。
2. テスト対象ページを決定する。
3. 仮説に基づいてどんな表示をすれば改善される可能性があるかテストを設計する。
4. それぞれの仮説に対応するクリエイティブを作成する。
5. 実際のページにOptimostのタグを埋め込む。
6. テストを実行する（訪問者にさまざまなバリエーションの表示を提示し、違いをデータとして取得する）。
7. 統計的に有意な差が出ているかどうかをテストのデータで判断する。
8. テスト結果をもとにさらなる改善を設計し実行する。

ゴールはもちろん予約完了率の向上だ。そのゴールを達成するためのテスト対象としてANAがまず選んだのは、国内線のページ。今回のテストでは「旅割」と「特割」という2つの航空券割引商品について、運賃紹介とチケット予約のページでそれぞれテストを行うことにした。

というのも、売り上げのボリュームが最も大きいのが国内線の航空券予約であり、アクセスが最も多いからだ。

複数の要素の組み合わせから最適なものを探る多変量テストでは、統計的に有意な差を出すためにも、ある程度以上のサンプル数がなければいけない。そのためにも、アクセス数が多く、大量のテスト結果を早く集められる国内線のページでテストするほうが短期間で結果を出せると判断したのだ。

ただし、アクセスが多いページでテストを行うと、結果は早く出るが、万が一トラブルが発生した場合のダメージも大きい。そのため、テスト実施の前によく検証する必要がある。ANAでは、動作に問題がないかだけでなく、ページ表示の速度にも影響が出ないか入念にチェックしたうえで導入している。実際、インフラ運用の部署でサーバー監視ツールを使っており、もし遅延などが許容できないほどになればそれを止める体制にもなっているのだが、テスト実施時に速度などの問題は発生しなかったのだという。

「多変量テストのタグを入れているとページ表示速度に影響があるかと思っていたのですが、ブラウザを使って自分でページにアクセスしてみても、テストのせいで遅くなっているという印象は一切受けなかったですね」（大野氏）。

多変量テストでバリエーション数があったため、最もアクセス数の多いページでテストを実行することにしました。

プロの知見により自社では思いつかない改善案も

テスト計画は、ANA側で常々疑問に思っていたことや制作を担当している協力会社の意見なども検討しながら、オートノミーのコンサルタントが立案した。

提案のための仮説は人による類推ではなく、アクセス解析データをもとデータ・数値を基にした分析によって導き出した。そうした仮説の一部を紹介しよう。

サイト改善のために提案された仮説の例

仮説例1

ページを開いたときに運賃例が訪問者の視界に入りやすくするように、上部のコンテンツを非表示にすることで、売上インパクトがあるのではないか。

仮説例2

アクセス解析データの分析により、売上に対する貢献度が低い機能であることが発見された部分を非表示とすることで、ページ上の他のコンテンツに誘導できるのではないか。

仮説例3

商品の特性を説明するコンテンツを上部に移動することで、訪問者がまず商品の説明を目にしてその理解を深められるようになり、売上コンバージョンにインパクトがあるのではないか。

「オートノミー側からの提案の半分ぐらいは、我々のチームでは思いつかないようなテスト案でした。そこは、さすがプロですね」と関沢氏は言うが、自分たちが「多分こうすればいいだろう」と思っていたものでも、実際にテストすることで数字として明確になるというメリットがある。

テスト計画を決定したら、クリエイティブを作成してテストを実施する。

Optimostでは、テストのためのサイト側の修正はごくわずかでいい。テスト対象のページにテスト用のJavaScript（1行だけ、全ページ共通）を追加するだけだ。

キービジュアル、レイアウト、ボタン、価格テーブルなど、ページ改善案を元に作られたテスト用のクリエイティブは、対象ページのURLなどとともに、Optimostのシステムにテストとして設定する。

テストを開始したら、ユーザーがアクセスするにつれて蓄積されるテスト結果レポートを管理画面から参照するという手順だ。