Web担お悩み相談室

リスティング広告のA/Bテスト、有意差はどう判定すればいい? 統計学は必要?

読者からのお悩みは「リスティング広告のA/Bテストのやり方」について。記事の後半では、広告テキストの分析方法も紹介!【Web担お悩み相談室】
ウェブパン

読者から寄せられた仕事の悩みをウェブパンが代わって解決するパン! 今回は、リスティング広告のA/Bテストのやり方にまつわる悩みを解決するパン!

読者からのお悩みを解決するパン!

読者のお悩み

リスティング広告を運用していますが、A/Bテストで悩んでいます。たとえば広告テキストを2種類回していてA広告がB広告よりCTRなどでよい結果になったとしても、それが有意差なのかがわかりません。統計学になると思うのですが、母数がどの程度あれば有意差として判断できるでしょうか? できれば、株式会社JADEの小西さんにご回答いただきたいです!(ペンネーム:い)

ウェブパン

お便りありがとうパン! ご指名の通りリスティング広告のエキスパート、JADE小西一星さんに相談してみるパン!

0526_tamura.jpg
株式会社JADE 取締役/Chief Consulting Officer 小西一星氏
小西

ウェブパン、いらっしゃい! 私がそのお悩みを解決しましょう!

純粋なA/Bテストはほぼ不可能

ウェブパン

リスティング広告で広告のA/Bテストをしても、有意差なのかをどう判断していいか見当がつかないパン……。一体どうすればいいんパン?

小西

ウェブパン、最初に断っておきたいことがあります。実はリスティング広告では、純粋なA/Bテストはできませんよ。

ウェブパン

え! そうなのパン!?

小西

なぜなら異なるパターンの広告テキストが、同じ検索クエリ、同じ属性のユーザーに等しく配信されるわけではないからです。Google 広告やYahoo!広告は、広告テキストの内容に合わせて配信対象を自動的に最適化しているんです。

※Google広告では、検索クエリは「検索語句」と呼ばれている。

たとえば架空の転職サイト「WEB担転職ナビ」があったとします。そのリスティング広告で、完全一致のキーワード「転職」に対して複数パターンの広告テキストを配信した場合、次のような感じで、実際に配信される対象となるオーディエンスが変わってくることがあります。

  • 見出し「WEB担転職ナビ」
    →サイト訪問歴のあるユーザーに優先的に配信
  • 見出し「ウェブ業界特化の転職サイト」
    →サイト訪問歴のないユーザーに多く配信

訪問履歴以外にも、年齢、性別、地域、ブラウザ、OS、デバイスなどが最適化されますし、もっと言えば、完全一致のキーワードを設定しても、実際の検索クエリは関連語や表記揺れをゆるやかにカバーする仕様になっています。

ウェブパン

広告によって配信される人が違うパンね! じゃあ広告のA/Bテストはまったく無意味ってことパン?

小西

A広告がB広告よりCTRやCVRが良かったとしても、それは配信対象者が最適化された結果に過ぎないかもしれません。なので、純粋な意味でのA/Bテストを行うのは難しいでしょう。

ただし、複数パターンの広告を試すことと、広告テキストの分析自体はとても大切なもので、機械学習が進展した今でも、広告運用者に残された仕事のうちの最も重要なことです。

JADE 秋葉原本社にて取材を行いました

A/Bテストに統計学の知識は必要?

ウェブパン

ところでリスティング広告のA/Bテストで、統計学の知識は必要パン?

小西

正直、私は統計学を学んでいません! そんな自分が言うのもなんですが、少なくとも広告運用の現場で「統計学の深い理解が必要だ」と感じたことはありません。

クリック数を多く得られないケースでは、サンプルが小さすぎて統計どころではないはずですし、逆にデータ量が膨大にある場合は、システムが学習して判断するので。そもそも、数千万円かけて出た結果が、来月には変わるということもよくあります。

ただし、データを扱うための基礎的なスキルや視点は必要です。

  • 平均値はどう算出されているのか
  • 相関と因果の違いは?
  • 何を分析するために何と何を比較するべきか など

ですので、統計学を深く学ぶ必要はないとしても、基礎的なことは知っておくべきとは言えるでしょう。

ウェブパン

なるほど、統計学の基礎知識くらいは身につけておいたほうがよさそうパンね。

広告テキストを分析するには

ステップ1データを確認する

ウェブパン

純粋なA/Bテストがやりづらいのはわかったけど、じゃあ一体、広告テキストはどうやって分析したらいいパン?

小西

広告テキストを分析する第一歩は「いつ・どこで・誰に」配信されたかを確認することです。

たとえば、次のような切り口で広告テキストごとのデータを確認します:

  • 広告×新規訪問 or リピート訪問
  • 広告×検索クエリ
  • 広告×デバイス
  • 広告×OS
  • 広告×ブラウザ
  • 広告×曜日
  • 広告×時間帯
  • 広告×セッション回数
  • 広告×地域 など

これらのデータを深く見て、どういう広告を作ればどういうターゲットにアプローチできるかを掴んでいきます。

ウェブパン

データの種類が多くて大変そうパン……。

小西

大丈夫、最初から全部を見る必要はないですよ。まずは次の3つを確認してみましょう。

  1. 訪問履歴
    新規訪問かリピート訪問か。訪問履歴の有無によって違う広告テキストが表示されやすい傾向があります。

  2. 検索クエリ
    たとえば広告テキストごとに、次のような違いが出てきます:

    • 広告A: 検討の最終段階とみられる検索クエリが多い
      例「Web担転職ナビ」「○○デザイン事務所 求人」
    • 広告B: まだ調べている段階とみられる検索クエリが多い
      例「Webデザイナー 求人」「転職サイト Webデザイナー」
  3. 閲覧環境
    OS、ブラウザ、デバイスなどの閲覧環境も配信先を知る手がかりになります。たとえば法人向けサービスの場合、配信先が伝統的企業かベンチャー企業か、といった点を推測できることがあります。もちろん、どういう結果ならどういう企業である、と必ずしも一概には言えないですが。

    • 広告A:Windows、Edgeが多い
    • 広告B:Mac、Chromeが多い
ウェブパン

データからいろんなことが見えてくるパンね! ところでGoogleやYahoo!の広告管理画面で、そんなに詳しいデータって見られたっけパン?

JADE社のオフィスは新しくてきれいだパン!
小西

広告の分析にはGoogle アナリティクスがおすすめです。Google アナリティクスをきちんと導入・設定して、Google 広告とリンクしておきましょう。

広告テキストの分析に使えるフォーマットもプレゼントします。以下、リンクからフォーマットに飛べるので、よければ使ってみてくださいね。

ウェブパン

分析のフォーマットまで、ありがとうパン!

小西

分析方法について一点補足です。Google広告では2022年6月末で、従来型のテキスト広告での入稿ができなくなり、レスポンシブ検索広告に一本化されました。

※レスポンシブ検索広告:1つの広告に見出しや説明文を多数設定し、システムが自動的に組み合わせて配信する広告形式

やっかいな点は、現時点でレスポンシブ検索広告は広告単位でしか分析できず、見出し単位では、深い分析ができないこと。1つの広告グループに3個までしか入れられず、比較検証の自由度が下がってしまいました。

私も悩ましいですが……この点を念頭に置いて広告を設計するようにしましょう。

ステップ2プランニングの再設計

ウェブパン

「いつ・どこで・誰に」配信されたかを確認する方法はわかったけど、そのデータの活かし方がわからないパン……。CTRやCVRがサクッと上がって、上司から褒めてもらえるテクニックはないパン?

小西

もちろん広告管理画面上の成果を出すことは大事ですが、そのための大部分はシステムが自動で行なってくれます。

運用担当者が注力すべきは、

  • 誰に対して何を伝えるべきか
  • そのために広告テキストはどうあるべきか

という本質を考え、必要であればプランを練り直すことだと思います。誰に向けて、何を訴求したいのかというプランニングがなければ、広告テキストのデータを分析する意味も希薄化します。

プランニングし、広告テキストを投入し、結果を確認し、再びプランニングする。このサイクルを回して、あなたの会社が望む方向へと進めるようにします。

0727_onayami_konishi02.png
広告運用者に必要なサイクル
ウェブパン

広告ごとの勝ち負けに目を奪われるだけじゃなくて、そもそも誰に、何を伝えたいかを考えることが大事パンね。

小西

広告は使うものであって、広告に使われちゃいけません。機械学習前提のシステムなので振り回されることもありますが、逆に機械学習を振り回してやるくらいの気持ちで、どっちに進みたいかという意思を持って取り組みましょう。

ウェブパン

広告テキストの分析データの活かし方は、ほかにも何かあるパン?

小西

次のような、広告運用以外の施策につなげることも可能です。

  • 広告見出しをウェブページのtitle要素に転用する
  • 広告見出しをLPのメインメッセージとして利用する
  • サービス・商品の改善に利用する

これらの施策につなげるためにも、事前のプランニングが大事になってきます。また、データをしっかり分析して読み解ける力がなければ、その結果を、本当にそのページのtitleに転用していいか、本当にそのLPのメインメッセージに利用していいか、判断することはできません。

小西さん、ありがとうございました!
ウェブパン

お悩み解決できたかな?

「Web担当者Forum」では今後も読者のお悩みを解決するために頑張るパン!

撮影:永友ヒロミ

用語集
CTR / CVR / Googleアナリティクス / Google広告 / セッション / リスティング広告 / リンク / 訪問
この記事が役に立ったらシェア!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

今日の用語

勝手広告
企業広告を消費者や第三者が勝手に作って公開する自主制作の広告。 ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]