不完全なデータから最適なマーケ意思決定をする方策とは？～統計的アプローチの有効性に対する考察～

マーケティング施策の意思決定を行っていくうえで不可欠なデータ分析。しかし、その実施に際して、不完全でノイズの塊であるデータにどこまで頼ることができるのか。リクルート住まいカンパニーの吉永氏は、マーケティング担当者もデータを本質的に理解することが大事であると語り、教科書には載っていないデータ分析の実務について紹介した。

意思決定に際して、有意差検定は本当に有効なのか？

株式会社リクルート住まいカンパニー
ネットビジネス推進室
データマーケティンググループ
マネージャー
吉永 恵一氏

「意思決定のためのマーケティング分析～MBAでは教えてくれないマーケティング・サイエンスの実際～」と題し、データドリブン・マーケティング＆ADフォーラムの基調講演で登壇したリクルート住まいカンパニーの吉永恵一氏は、自身の経験に基づき、統計的なアプローチの説明を絡めながら、データ分析についてさまざまなヒントを紹介した。

「マーケティング施策の意思決定に際して、データ分析の結果がどれだけ有効となっているのだろう？」――マーケティング担当者であれば、誰しもこうした疑問に少なからず直面しているのではないだろうか。

マーケティング施策の実施に際しては、データを「分析」し、その「結果」を「解釈」し、担当者や上長に「説明」する、といったフェーズを経て「意思決定」がなされる。その中でもデータ分析結果を解釈するにあたり「有意差検定」が用いられることも多い。しかし、吉永氏は、「データの解釈において、統計的に有意差がある、有意であるといった判断がされることも少なくないが、では、どこまで“有意差”というものを理解しているのか。それを正しく理解して用いなければ意思決定を誤る」と警鐘を鳴らす。

有意差検定とは、サンプルから導出されたさまざまな傾向（例えば「平均値」など）が、許容誤差のもとに、全体でも同じ傾向と言えるのかどうかを推し量るもの。「統計学の厳密な定義とは異なるが、サンプルで表れている傾向の差が、全体でも同様に言える状態を“有意差がある”という」と、吉永氏は説明する。

有意差検定は、A/Bテストなど、コンバージョン効果の異なる複数のクリエイティブ案について、その有効性を比較、評価するときに用いられることが多い。数値に30％と40％など大きな差がある場合、有意差があることは疑いがないが、例えば、31％と32％などの微妙な差が生じた際に、そのわずかな差が今回偶然生まれたものなのか、今後も現れる傾向差であるのかを判定するときに有意差検定は有効だ。

しかし、有意差検定は意思決定に使えないとする立場、使えるとする立場が存在する。吉永氏は、その双方の立場から理由を説明した。

使えない立場からの理由

• サンプルサイズが大きくなればなるほど有意になりやすい。
• そもそも、全体を推計できるサンプルサイズが取れないなかで使っても意味がない
• 一回のテスト結果で季節要因などさまざまな外部要因を考慮しにくい

使える立場からの理由

• 定量的な判断でなくても、定性的にどちらが良さそうなのかがわかればよい
• 判断の正確さよりもスピードを重視する
• 結果をそのまま鵜呑みにせず、かつ、その他の要因まで考慮して判断する

有意差検定の限界を理解しつつ、季節要因といった外部要因を含めた仮定を置いたうえで、解釈を交えて判断することが重要である（吉永氏）

分析結果を導き出す役割と、適切に解釈する役割の分担

次に、分析結果を正しく導き出す役割と、その結果とマーケット仮説を基に適切に解釈する役割は、同一人物、つまり、データアナリストなどの分析者が一人で担うべきなのだろうのか。それともマーケティング担当者が行うべきなのだろうか。

吉永氏は、分析者とマーケティング担当者でそれぞれ役割分担するというパターンが理想的であるとしながらも、多大なコミュニケーションコストが発生するおそれがあると語った。しかし一方で、分析者が解釈まで行うのは難しい。なぜなら、解釈にはマーケティングスキルが必要であり、そのためには現場経験で実践を積んでいかなければならないからだ。

したがって、少なくとも意思決定という文脈から考えると、マーケティング担当者に分析スキルを持たせることが一つの良策であると考えられるだろう。

誰が「結果導出」と「解釈」を行うのか

統計モデルを用いた意思決定の有効性

続いて吉永氏は、得られたデータに対して合計値や平均値などでさまざまな軸を比較する「集計」と、データに対して係数を用いて相対比較する「統計モデル」を用いた意思決定についても言及した。

「“集計”と“統計モデル”はトレードオフの関係にある。集計は分かりやすく上長に説明しやすいが、季節要因やトレンドなどのノイズが混在した状態にあり正確性に欠ける。一方で、統計モデルはそうしたノイズを分離しているので、正確さにおいて歩はあるが、上長に説明しにくい」（吉永氏）

「集計」と「統計モデル」のトレードオフ

そもそも分析対象として扱っているデータには“ばらつき”があるものだ。統計学は、ばらついたデータの中から、データの真の姿と、真の姿を歪ませる偶然性や誤差を明らかにする学問である。統計を実施していくうえで重要な考え方は、データは「真の構造」と、それをゆがませる「誤差」で成り立っている、ことである。

この考えに基づき、統計モデルを用いた分析を行うにあたり、その一例として吉永氏が挙げた数式が下記である。

誤差と真の構造を分離

Y：コンバージョン
X：コスト
a：広告の影響度合いを示す係数
b：ブランド等その他の効果を示す係数
ε：誤差

この数式でモデル化を行うことで、現象を再現する。これにより、aとbをデータの真の構造、εを誤差に分割し、正確性を担保している。しかし、aとbという係数を用いて説明責任を果たし、意思決定を行うことはできるのだろうか。

吉永氏は、「当社では、意思決定にあたり、この係数の詳細な説明は行わず、代わりに、打ち手仮説の検証サイクルを素早く回すことで意思決定を行っている。将来の予測、シミュレーション、実証実験の積み重ね、そして市場の状況に応じた毎月の予測に基づく見立ての逐次更新と振り返りを通して意思決定に際しての根拠を担保している。分析結果をいろんな形で切り刻むよりも、まずはやってみるのが何よりも早い」と語った。

意思決定においては仮説がすべて

講演の終盤、吉永氏は、「意思決定においては仮説がすべて」だと強調する。

分析にも「仮説発見」と「仮説検証」の2つのアプローチがある。前者はデータから意外性のある発見を求めるものであり、後者は自身の仮説を定量的に検証するもの。どちらのアプローチに基づきデータを分析するか、マーケティング担当者はあらかじめ考えておかなければならない。

意思決定においては仮説が全て

また、意思決定を行うにあたっては、テクニックを駆使し1％単位で分析の精度をあげていく手法を用いるのか、それとも、ノイズがあることを理解したうえで結果を振り返りつつもまずは先に進んでいくのかを、自社のマーケティング課題に応じて選択していくことも重要だと補足した。

「自動車の運転を“分析結果の活用”、エンジン開発を“分析アルゴリズムの開発”とすると、これまではエンジンのことを知らなくても、自動車の運転はできた。しかし、近年ではエンジンについても知らなければ競争に勝てない時代へと変わっている。分析について本当に深いところまで知らずとも、分析の本質を押さえたうえで分析結果を活用していくことが重要になる」（吉永氏）