根拠の乏しい怪しい％データをひと目で見抜く方法とは？ [アクセス解析tips]

さていきなり質問から入っていきたい。表1はキーワード広告の施策のデータで、広告効果測定の結果からキーワード別に主要な指標をまとめて作った表の一部である（インプレッション数やクリック数の実数はこの表では省略している）。さて、この表で気をつけるべきデータがあるのだが、それはキーワードA、キーワードB、キーワードCのうち、どれだろうか？

わからない方のために、もう少しピンポイントで質問してみよう。答えはキーワードCなのだが、その値で気をつけるべき点がある。それは何だろうか？

では、最初の表の数値部分を入れた次の表を見てほしい。キーワードCはコンバージョン率が低いので出稿をやめようと思うのだが、その判断は正しいだろうか？

「きりのいい％」はサンプルが少ない可能性がある

たしかにキーワードCはコンバージョン率がほかより悪いが、購入数が1増える（または減る）とどうなるだろうか？ 購入数が1件増えて2になったら、クリック数を母数とした場合のコンバージョン率は、10％に跳ね上がる（購入数が1減って0になったら0%だが）。コンバージョン率10％というと、キーワードAやBと遜色はない。

結論としては、サンプルが少ない時に成果が出ないからといって簡単には「ダメ」のレッテルを貼ることができないのだ。もう少し長い期間このキーワード広告を行いさらにデータが集まると統計的に有意なデータになっていくのだが、現時点では判断するべきではないだろう。

母数となる数が少ない場合、％はきりのよい数字になる。小数点以下が0だったり、1の位が5％区切りとか10％区切りであったり、33％、66％などの数字があれば、絶対値が表示されていない表1のようなレポートを見ただけでも「危ない」と感じられる感覚を身につけておくことが重要である。

通常、広告効果測定ツールやアクセス解析ツールで、％だけのデータ表示がされるということはあまりないと思うのだが、レポートをドリルダウンしていくと％だけになったりする場合もあるし、会議やプレゼンで提示される資料の場合は％だけであることも多い。要注意である。

またこういった各種ツールでは、コンバージョン率の高い順にソートできたりする機能があると思うが、流入数1、購入数1、コンバージョン率100％などが上位に並ぶようなケースが出てくる。このような場合は、労を惜しまずデータをダウンロードし、エクセルなどである一定以上の絶対値があるものだけに絞ってソートするなどしてみよう。

またセグメント化して深く見ていけば見ていくほど、絶対値が少なくなり評価が難しくなるというジレンマがあることも覚えておこう。

まとめ

• きりのよい％の場合は、母数となる数が少なくないか疑う
• サンプル数が少ない段階で簡単に評価を下すことはできない
• セグメント化を重ねると母数が少なくなり、評価が難しくなる