調査方法に潜む罠とチェックの重要性――調査・リサーチ・統計の基礎その4

前回までは、調査対象者のサンプリングや回収率による偏り、標本誤差といった話をしてきました。今回は「調査方法や内容に潜む罠」と「チェックの重要性」に関してお話しします。

同じ内容の調査をするにも、さまざまな実施方法があります。費用や日程などとの兼ね合いで最良の方法を選択するのですが、定量的な調査では、対面調査（訪問面接調査、電話調査など）と非対面調査（郵送調査、インターネット調査など）、機械式調査（インターネット視聴率調査、テレビ視聴率調査）があります。

調査方法の種類と考えられる落とし穴

対面調査には「メイキング」の可能性がある

ここで言う対面調査とは、調査対象者と調査員が直接話をして、調査員がアンケート用紙に回答を書き込む方式を指すことにします。上で挙げた方法の中では、訪問面接調査と電話調査が該当します。

訪問面接調査では、調査協力者のお宅に伺って、調査協力者に質問をしながら回答を引き出します。電話調査も直接調査協力者と話をしながら回答を得ていきます。相手の反応を確かめながら調査できるので、曖昧な点や質問の意味などをきちんと理解してもらうことができます。会話だけでなく、相手の仕草なども確認できる点では、訪問面接調査の方が優れていると言えます。

しかし対面調査もよいことばかりではありません。まず、手間が掛かりますので、費用は訪問面接調査の方が掛かります。また調査対象者の方に時間があまりない場合や、協力姿勢がない場合は、いい加減な受け答えをされてしまうかもしれません。そういった回答も同じ1票になる可能性はあります。

また、訪問面接調査では、ある住宅地のブロックで調査員が何軒置きかにお宅を訪問するといったことをしますので、訪問したお宅の不在が多いと中々回答を得ることができません。このときに問題になるのが、調査員が自分で回答を作ってしまう「メイキング」という行為です。つまり集計してはいけないものが混ざってしまうということです。

なお電話調査では、集中管理されたブースの中にオペレータが集まって、コンピュータの画面に聞き取った回答を入力していく方法（CATI＝Computer Aided Telephone Interview）が多いので、こういう不正をその場で行うことは難しいと思います。

非対面調査は「いい加減な回答」の排除がポイント

一方、非対面調査である郵送調査やインターネット調査は、調査対象者の時間があるときに、アンケート票や質問画面に記入・入力してもらいます。調査に協力する姿勢があれば、きちんと回答してくれる可能性は高いでしょう。

しかし、どの程度まじめに回答しているかはうかがい知ることができません。自由参加型のインターネット調査で、ポイントを稼ぐことが目的の調査協力者のいい加減な回答はどのように排除するのでしょうか？

実のところ、調査員による「メイキング」やいい加減な回答の排除は、各調査会社のノウハウになります。メイキングの発見はベテラン調査員の経験がものをいうのでしょう。またいい加減な回答の排除は、最後にお話するデータチェックの中に組み込まれていることでしょう。

インターネット視聴率調査はソフトウェアで測定している

最後に機械式調査について述べます。ネットレイティングスのインターネット視聴率調査では、測定対象のパソコンにソフトウェアをインストールします。そのソフトウェアがどのウェブページをだれがどのくらい閲覧していたのかといった情報を取得し、リアルタイムにその情報をネットレイティングスが用意したデータ収集用のサーバーに送り出します。

つまり調査対象者側ではほとんど何もする必要がないので、そういう意味では、ソフトウェアのトラブルがない限り完璧な気がします。人は「自動的」という言葉に弱いようですが、どういったデータを取得しているかを確認しましょう。

でも何気なく「そのソフトウェアがどのウェブページをだれがどのくらい閲覧していたのかといった情報を取得する」などと書きましたが、たとえば「どのページを見ていた」のかを、そのソフトウェアはどう判断するのでしょうか。アドレスバーに表示されたURLでしょうか。その場合、ページがフレーム構造だったら親フレームだけを計測するのでしょうか。それともリクエストされたファイル情報をすべて取得し、さまざまなアルゴリズムを駆使して、表示されたページの判定を行うのでしょうか。

実はこの「わかったつもりになっていること」こそ、根本的な誤解を生む原因なのです。これは次回の指標の定義の話の中でも触れます。

テレビ視聴率調査の「ピープルメータ」とは？

ビデオリサーチの3大都市圏におけるテレビ視聴率調査は、PM（ピープルメータ）システムという機械式で行われています。これは、テレビごとに設置した視聴チャンネルを測定する「チャンネルセンサー」と、個人の視聴を入力・表示する「PM表示器」により世帯視聴率と個人視聴率を同時に調査する方法です。

機械による測定方法は、完全なのでしょうか。何か気を付けるべきことがあるのでしょうか。どのようにして「おとうさんが見た」ということを知らせる方法をとっているのでしょう。

ビデオリサーチによれば、「PM表示器には世帯内の個人各々のボタンがあり、視聴の開始時と終了時にそれを押すことにより個人の視聴を登録していただきます。ボタンには個人の顔のイラストをつけ、入力確認がしやすいよう工夫しています。リモコンによる遠隔操作も可能です。（調査対象は世帯内の4歳以上の家族全員）」とあります。

「別の人が押し間違えたらどうなるの」とか「視聴が終わっても押しっぱなしになっていたらどうなるの」とか「4歳の幼児がそんな操作ができるの」とか気になることがいっぱい出てきました。機械だからといって完全ではないと理解しなければなりません。

人気のアイトラッキング調査も完全ではない

インターネットにかかわる皆さんは、アイトラッキング調査をご存知でしょう。ユーザビリティの調査などで、ウェブサイトの利用者がページのどの部分を見ているのかを機械的に測定する仕組みです。以前は小型カメラのついたゴーグルをつけなければなりませんでしたが、最近はそういうことも不要になっているようです。

アイトラッキング調査は、目の動きやどこを注視していたかという事実のデータは取れます。しかしその部分や意味を正しく認知しているかはわかりませんし、被験者に与えたタスクによって行動が違ってくるはずです。違うインプットに対してアウトプットが違ってきます。そして慎重な解釈も必要になります。

アイトラッキング調査の例は、定量的な調査ではなく、定性的な調査の例ですが、それぞれの機械式の特徴や限界を知って使わなければならないことがおわかりいただけましたか？

使えない数字を作り出す罠の数々

マーケティング調査の専門書を読めば、中立的な質問の仕方や、選択肢の作り方、質問の順番などについて書かれています。ここではその話を詳しくしませんが、これらの項目の設計によって、回答そのものや結果に対する印象も異なってきます。

そのためどのような調査を行ったかを客観的に知るためには、今までお話ししてきた調査の方法を踏まえた上で、どのような質問文と選択肢が用意されていたのかといった情報も必要です。

アクセス解析でのデータ収集で注意すべき点

皆さんの身近なところでは、アクセス解析も調査の一種と言えます。これまでに述べてきたような調査における注意点は、もちろんアクセス解析のデータ収集や分析においても有効です。

ウェブサイトのアクセス解析のデータには偽装されたデータや、元々あったのに削除されてしまうものがあります。それほど頻度が高い訳ではありませんが、そういった事実を知っているのと、データが完全であると信じているのとでは、数字を解釈する際に大きな違いが出てくると思います。

ご存知の方も多いでしょうが、ユーザーエージェントはブラウザによってはクライアント側で偽装することもできます。参照元のデータは、セキュリティソフトウェアの設定によって、取り除くこともできます。

また作為的なことをしなくても、参照元のデータはすべてに紐付いている訳ではありません。メーラーなどのアプリケーションソフトウェアの書類のリンクをクリックしてウェブサイトにアクセスした場合、参照元の情報は空です。ウェブページでFlashコンテンツのリンクをクリックしても同じです。

ウェブマーケティングで不必要なデータは集計しないこと

ウェブサイトのアクセスログには、ロボットやクローラと呼ばれる検索エンジンなどのアクセスの他、悪意を持って攻撃してくるアクセスのデータが記録されます。これはウェブサイトの負荷やSEO（検索エンジン最適化）を考える上では重要な情報ですが、ユーザーがサイトのどこを閲覧しているかといった純粋なウェブマーケティング面からは余計な情報です。

アクセスログを分析するためのさまざまなツールがありますが、集計の前に、こういったロボットのアクセスを含める、含めないといった集計の設定を多くのツールで行うことができます。

最近のパソコン用ソフトウェアのインストールのように、この初期設定はわかりやすく、システム担当者でなくても迷わず進めていくことができるように進化してきています。初めは理解しにくいことも多いと思いますが、最初が肝心なのです。

集計した結果、自分が想像していたものと違うと思ったら、どういう設定をしていたかに立ち戻ることで解決することもあります。

URLのパラメータを削除するか、しないのか

もう少しアクセス解析の例を続けます。動的に生成したページのURLの処理で、特に何も設定していなかったため、URLに付いているパラメータがすべて削除されてしまって、あまり価値のない集計データになってしまうといったケースがあります。

EC（オンラインショッピング）サイトで、数多くの商品カテゴリや商品を扱っている場合、各商品のページを動的に生成し、URLに商品カテゴリや商品に対応したパラメータを付与することがあります。

当然ウェブ担当者は人気の商品カテゴリあるいは人気の商品のランキングを見たいと思うのですが、標準機能ではパラメータをすべて無視してしまうというものだったとします。計測をスタートして1か月目にまとめて数字を見ようとした担当者は、そういう集計がされていないことに愕然とします。

ちょっとした追加設定だけで済むのであれば1か月のロスで済みますが、かなりのシステム変更ということで追加費用を請求されないとも限りません。やはり初めが肝心なのです。自分はどんな数字を見たいのか、そして見たい数字が取れるかどうかを最初に確認しましょう。

データチェックとは

集まったデータをチェックするプロセスも意外に大事なのですが、あまり気に留められません。すべての問いが無回答であれば、その回収票全体が無効と判断します。またある質問群だけ、すべて同じ回答をしているものは、「まじめに答えていない」疑いで、その質問だけ無効と処理することがあります。

後は論理チェックを行います。質問の分岐を無視している場合や前後で整合性のない回答は、何らかのルールで判定するようにします。

機械式の調査でも、チェックは必要です。何かのシステムの不具合で集計が暴走することもありますし、ユーザー側のシステムの暴走でおかしなデータが送られてくることもあるでしょう。不思議なデータが出てきたら、まず問い合わせてみる習慣を付けましょう。

調査票が公表されている調査は信頼性をチェックできる

3回目までで読者の方にできる簡単なチェックをお教えします。前回お知らせした調査概要ですが、調査方法が書いてあるか確かめましょう。また調査票まで公開している調査はそれほど多くありませんが、公開されていればそれも参考にしましょう

次回は「集計方法と指標の定義」について説明します。