Firebase での A/B テストの改善について | Google Analytics 日本版 公式ブログ

この記事は、Google アナリティクス ソリューション 英文ブログ記事 「Better A/B Testing with Firebase」を元に構成しております。

Firebase での A/B テストの改善について
アプリ デベロッパーの間ではご存知の方も多いと思いますが、アプリの長期的な成功において、小さな変更が大きな役割を果たすことは少なくありません。[購入] ボタンにどんな語句を表示するか、登録手順のダイアログをどの順序で表示するか、ゲームの個々のレベルの難易度をどの程度にするかなど、細部へのこだわりが結果的に大きな違いを生み、上位ランクに食い込むアプリになるか、日の目を見ないアプリになるかを決定づける可能性があります。

では、アプリに加えた変更が適切だったかどうかは、どうやって確認すればよいでしょうか？もちろん、情報に基づいて推察したり、友人に尋ねたり、フォーカス グループを利用したりする方法もあるでしょう。しかし、最も確実な方法は、アプリに加えた変更にユーザーがどのように反応するかを実際に試して確認する方法で、そのために用意されたのが A/B テスト機能です。A/B テストでは、アプリの 2 つのバージョンを同時にリリースし、ランダムに選ばれたユーザーにいずれかを提供し、どちらのバージョンがお客様の目標達成に効果的かを実際に確かめることができます。

これまでも Firebase Remote Config の「ランダム割り当て」条件を使って、シンプルな A/B テストを実施することはできました。しかし、このたび Firebase のテスト機能を進化させ、Remote Config や通知機能と連携して機能するまったく新しいテストレイヤを追加して、高度な A/B テストの設定と測定が簡単にできるようになりました。この新しい A/B テスト機能の概要をご紹介します。



新しい A/B テスト機能の概要
新しい A/B テスト機能によって、作成した A/B テストの値の組み合わせを Remote Config を通じて自由に管理できます。また A/B テストの設定時に、テストの具体的な方法を決めるさまざまな要素を指定できます。たとえば、最初の時点でテストに含めるユーザーの割合を指定したり…



…テストするパターン数を指定して、それぞれのパターンに特有の動作を指定したり…



...テストの目標を指定したりできます。



目標はテストごとに異なると考えられるため、A/B テストでは一般的な目標を数多くご用意しています。たとえば、アプリの全体的な収益向上や顧客維持率の向上、クラッシュ回数の低減、Firebase 向け Google アナリティクスで測定しているイベント（例: アプリ内チュートリアルの完了）の発生回数の増加などを目標として指定できます。

お客様が A/B テストの設定を完了すると、それ以降の作業は Firebase が引き継ぎ、お客様のユーザーの中からランダムに選ばれた対象者にアプリの異なるパターンを配信していきます。そして、継続的にユーザーの行動を測定し、お客様が事前に指定された目標に基づいて、成果の高いパターンが明らかになった時点でお客様に通知します。Firebase の A/B テストでは、ベイズ統計モデルを使って結果が測定されます。この統計モデルは、ウェブサイトのテストとカスタマイズをサポートする Google の無料サービス Google オプティマイズで使われているものと同じです。


A/B テストでアプリの新規ユーザー向けプロセスを改善: 事例紹介
生活習慣の改善をサポートするアプリ Fabulous では、Firebase の A/B テストを使い、アプリの新規ユーザー向けプロセスを改善しました。これまで新規ユーザーに課していた「1 つの習慣を身に付ける」「生活習慣の改善に関する手紙を読む」「簡単な日課を実践する」といった課題のステップをいくつか省略することで、新規ユーザー向けプロセスを完了するユーザーが増えるかもしれないと考えたのです。

一般的な Fabulous 新規ユーザーに表示される画面の例
そこで A/B テストを実施して、手紙を読まないパターン、シンプルな日課を実践しないパターン、その両ステップを省いたパターンを使ったアプリを、それぞれ一部のユーザーに配信しました。その結果、新規ユーザー向けプロセスから両方のステップを省いたパターンで、プロセスの完了率が 7% 改善しました。さらに、新規ユーザー向けプロセスを短くしても、アプリのユーザー維持率には影響しないという重要な事実も確認できました。

通知もテストしようFirebase Notifications コンソールを使えば、アプリの通知メッセージでも A/B テストを実施できます。複数のパターンをテストして、アプリの起動につながりやすいメッセージや、お客様の目標とする行動（アプリ内購入など）をユーザーが取りやすいメッセージを見極めることができます。


ご利用にあたってA/B テストは本日 Firebase の全ユーザーを対象に、ベータ版での提供が始まりました。ご利用の際には必ず事前に Remote Config や Firebase Cloud Messaging が使えるようにアプリを設定し、関連するライブラリを最新バージョンに更新しておいてください。A/B テストの詳細については、Google 提供のドキュメントや、動画シリーズ「A/B Test Like a Pro」をご覧ください。

Firebase コンソールからテストを実施して、アプリの改善を図りましょう。なお、テストは一度に 1 つだけ実施してください。


投稿者： Todd Kerpelman - Google Firebase チーム