リスティング広告のA/Bテスト、有意差はどう判定すればいい？ 統計学は必要？

ウェブパン、いらっしゃい！ 私がそのお悩みを解決しましょう！

ウェブパン、最初に断っておきたいことがあります。実はリスティング広告では、純粋なA/Bテストはできませんよ。

なぜなら異なるパターンの広告テキストが、同じ検索クエリ^※、同じ属性のユーザーに等しく配信されるわけではないからです。Google 広告やYahoo!広告は、広告テキストの内容に合わせて配信対象を自動的に最適化しているんです。

たとえば架空の転職サイト「WEB担転職ナビ」があったとします。そのリスティング広告で、完全一致のキーワード「転職」に対して複数パターンの広告テキストを配信した場合、次のような感じで、実際に配信される対象となるオーディエンスが変わってくることがあります。

• 見出し「WEB担転職ナビ」
  →サイト訪問歴のあるユーザーに優先的に配信
• 見出し「ウェブ業界特化の転職サイト」
  →サイト訪問歴のないユーザーに多く配信

訪問履歴以外にも、年齢、性別、地域、ブラウザ、OS、デバイスなどが最適化されますし、もっと言えば、完全一致のキーワードを設定しても、実際の検索クエリは関連語や表記揺れをゆるやかにカバーする仕様になっています。

A広告がB広告よりCTRやCVRが良かったとしても、それは配信対象者が最適化された結果に過ぎないかもしれません。なので、純粋な意味でのA/Bテストを行うのは難しいでしょう。

ただし、複数パターンの広告を試すことと、広告テキストの分析自体はとても大切なもので、機械学習が進展した今でも、広告運用者に残された仕事のうちの最も重要なことです。

正直、私は統計学を学んでいません！ そんな自分が言うのもなんですが、少なくとも広告運用の現場で「統計学の深い理解が必要だ」と感じたことはありません。

クリック数を多く得られないケースでは、サンプルが小さすぎて統計どころではないはずですし、逆にデータ量が膨大にある場合は、システムが学習して判断するので。そもそも、数千万円かけて出た結果が、来月には変わるということもよくあります。

ただし、データを扱うための基礎的なスキルや視点は必要です。

• 平均値はどう算出されているのか
• 相関と因果の違いは？
• 何を分析するために何と何を比較するべきか など

ですので、統計学を深く学ぶ必要はないとしても、基礎的なことは知っておくべきとは言えるでしょう。

広告テキストを分析する第一歩は「いつ・どこで・誰に」配信されたかを確認することです。

たとえば、次のような切り口で広告テキストごとのデータを確認します：

• 広告×新規訪問 or リピート訪問
• 広告×検索クエリ
• 広告×デバイス
• 広告×OS
• 広告×ブラウザ
• 広告×曜日
• 広告×時間帯
• 広告×セッション回数
• 広告×地域　など

これらのデータを深く見て、どういう広告を作ればどういうターゲットにアプローチできるかを掴んでいきます。

大丈夫、最初から全部を見る必要はないですよ。まずは次の3つを確認してみましょう。

広告の分析にはGoogle アナリティクスがおすすめです。Google アナリティクスをきちんと導入・設定して、Google 広告とリンクしておきましょう。

広告テキストの分析に使えるフォーマットもプレゼントします。以下、リンクからフォーマットに飛べるので、よければ使ってみてくださいね。

• Googleアナリティクス
• Googleデータポータル

分析方法について一点補足です。Google広告では2022年6月末で、従来型のテキスト広告での入稿ができなくなり、レスポンシブ検索広告^※に一本化されました。

やっかいな点は、現時点でレスポンシブ検索広告は広告単位でしか分析できず、見出し単位では、深い分析ができないこと。1つの広告グループに3個までしか入れられず、比較検証の自由度が下がってしまいました。

私も悩ましいですが……この点を念頭に置いて広告を設計するようにしましょう。

もちろん広告管理画面上の成果を出すことは大事ですが、そのための大部分はシステムが自動で行なってくれます。

運用担当者が注力すべきは、

• 誰に対して何を伝えるべきか
• そのために広告テキストはどうあるべきか

という本質を考え、必要であればプランを練り直すことだと思います。誰に向けて、何を訴求したいのかというプランニングがなければ、広告テキストのデータを分析する意味も希薄化します。

プランニングし、広告テキストを投入し、結果を確認し、再びプランニングする。このサイクルを回して、あなたの会社が望む方向へと進めるようにします。

広告は使うものであって、広告に使われちゃいけません。機械学習前提のシステムなので振り回されることもありますが、逆に機械学習を振り回してやるくらいの気持ちで、どっちに進みたいかという意思を持って取り組みましょう。

次のような、広告運用以外の施策につなげることも可能です。

• 広告見出しをウェブページのtitle要素に転用する
• 広告見出しをLPのメインメッセージとして利用する
• サービス・商品の改善に利用する

これらの施策につなげるためにも、事前のプランニングが大事になってきます。また、データをしっかり分析して読み解ける力がなければ、その結果を、本当にそのページのtitleに転用していいか、本当にそのLPのメインメッセージに利用していいか、判断することはできません。