リモートユーザーテストから課題を抽出するノウハウを公開！ Web担サイトの調査動画あり

リモートユーザーテストの調査動画を紹介するとともに、ユーザーテストの最大難関の1つでもある動画からどのように課題を抽出しているのかについて紹介していきます。リモートユーザーテストの実施準備に関しては、前回の記事を確認してください。また、記事の最後には、編集部が気になったことを池田氏に質問したインタビューも紹介します。

今回、Web担編集部がリモートユーザーテストを実施するにあたって、ポップインサイトのオーダーメイド調査を提供いただき、実施してもらいました。

サービス提供側が裏でどんなことをしているのかをポップインサイトの池田氏に執筆いただき、依頼側としてWeb担編集部がどんなことを行い調査を通じて何を得られたのか2つの視点でレポートを紹介しています。

リモートユーザテストの配信

前回行ったタスク設計＆モニタをポップインサイトのリモートユーザテストシステムにセットすると、自動的にメールなどで配信連絡がスタートします。

配信が行われたら、調査に参加するモニタは自宅でパソコンを立ち上げ、マイク・録画ソフト・スマホの場合はWebカメラを用意し、タスクに従ってひとりごとを話しながら調査を進めていきます。調査完了後、調査データをポップインサイトへアップロードして、モニタの調査は完了です。

ユーザーテストのイメージ図

リモートユーザーテストの動画を紹介

どのように課題抽出をしているか、ユーザーテストの分析方法を紹介する前に、まずリモートユーザーテストがどのようなものか、Web担のリモートユーザーテストの動画を紹介しましょう。

発見点リストが箇条書きになって右側にまとまっています。そこをクリックすると、該当箇所から再生ができるので、忙しいなかでも「飛ばし見」をしながらポイントだけをおさえることが可能です。発見点はモニタ1名につき30～50と数が多くなることが多いため、「自社/競合」「ポジ/ネガ」などの「タグ」で絞り込んで閲覧できます。

実際の動画は全部で75分もあり長尺なので、リモートユーザーテストの動画がどんなものなのかイメージしてもらえるように、1:45にギュッと短くした動画を紹介します。

調査結果（動画）のチェック＆発見点抽出

上記の動画は、調査データ回収→チェック＆発見点抽出を経て、テスト配信終了後早ければ、1～2営業日で調査結果を確認できます。

海外も含めたほとんどのリモート・ユーザーテストサービスでは、調査データがアップロードされるとすぐに依頼主へ公開となりますが、弊社ではチェックを行ったうえで公開しています。以下が実際に動画をチェックするときに使用する、品質チェックシートです。

チェックの結果、品質が低いと判断される場合、テストの満足度を保つため、別の結果データを代わりに公開することもあります。

チェックと並行して、「調査内でどんな発見点があったか」もリストアップします。

リモートユーザーテストが広がらない原因の1つとして「テスト結果の動画を見るのが大変・面倒」であることがあります。

実は私たちも、サービスを立ち上げた当初は、動画データだけを納品していましたが、当然ながら結果をなかなか見てもらえず、納品してもあまり使われないという問題を抱えていました。もっと活用してもらうために、現在では主な発見点は、「動画を見なくても大体わかる」ようにパワーポイントなどの資料にまとめ、「動画を全部見ずに該当シーンだけ見られる」ように1クリックでそのシーンのみを閲覧できるようにしています。

実はこのチェック＆発見点抽出作業は、社内だけで処理しているわけではありません。全国からチェッカーとしてふさわしい人を独自のクラウドソーシング・サービスとして集め、チェックに取り組んでもらっています。

動画チェックは非常に時間がかかり、かつ自動化が難しいため、人手が不可欠です。しかし、会社に人を呼んで対応するには、キャパシティ的にコスト的にも限界があり、調査数をスケールすることが困難になってしまいます。

そこで、調査数が増えても問題なくチェックができるように、クラウドソーシング的な体制によりスケーラビリティを担保しています。チェッカーは、主婦の方を中心に最初の段階では業界未経験の方がほとんどですが、トレーニング制度＆チェック体制により、品質を担保できるようにしています。

もちろん、UIやユーザーテストの専門家がチェックしているわけではないため、過去知見を前提とする発見点を抽出することはできませんが、モニタが明示的に「これは～で嫌」「～が見つからない」と発言している点はしっかり拾うことができ、結果として8～9割程度の精度を達成できています。

高すぎる精度を求めてコスト＆時間をかけるやり方ではなく、リモートユーザーテストのメリットを最大化する「必要十分な品質で、ローコスト＆スピーディ」の実現を志向しています。

課題リストの整理

ユーザーテストは、1人1人の流れを線として見ていくことが非常に有用なのですが、これだけでは「で、結局、何が悪いの？」を整理することが困難です。

そこでレポート作成の前段として、「ユーザー視点での発見点」を1つ1つ確認し、「サイト視点での課題」に集約していきます。このリストは、運用改善における課題整理や、A/Bテストのネタリストなどで活用しやすいように、課題をページ単位で整理していきます。

重要課題の選定

課題リストは、サイトにもよりますが、相当なボリュームになります。前回紹介しましたが、Web担サイトに関する発見点は全部で126個、重要課題が13個でした。モニタ人数が3人であったこともあり、重要課題数が少なめですが、場合によっては重要課題が30～100個に至ることもあります。

そこで、テスト目的（今回はメディアのPV増加）や背景状況（どこまで直せるかなど）を踏まえて、弊社側で重要課題をピックアップしています。

重要課題の選定は、以下のような観点を踏まえる必要があります。

• その課題がどれぐらい致命的か
• その課題は現実的に直せるか
• そもそもクライアントの関心があるか

答えがない難しい作業であるため、チェックも踏まえてベテランコンサルタントが担当するようにしています。

また選定と合わせて、改善方針も検討・整理していきます。改善方針の精度については、通常のレポートプランの場合は「方針レベル（文字での方向性の提示）」としていますが、具体的な画面案まで作成・提示することももちろん可能です。

さて、2回に渡って、リモートユーザーテストの調査結果、準備、テスト、課題抽出をまとめて紹介してきました。今回、Web担サイトのユーザーテストに協力してもらった、池田氏に編集部が気になったことを聞いてみました。

リモートユーザーテストで編集部が気になったことを聞いてみた

――ユーザーテストは調査設計が重要だと思いますが、クライアントにしっかりヒアリングしたり、既存データを分析しておかなくて大丈夫なのでしょうか？

池田： 事前準備は精緻に行う方がもちろんよいですが、時間・コスト・スキル的な制約を考えると、「可能な範囲」で行えばいいと考えています。また、ある程度の調査設計であっても、発見点は豊富に出ます。

従来のコンサルティング的なユーザーテスト・サービスでは、調査前の課題整理（ヒアリングや既存データ分析）をセットで行うことが一般的ですが、そのために全体で1～2か月の時間がかかり、コンサルティング費用として数百万円のコストが発生してしまいます。

リモートユーザーテストの利点は、調査設計も含め全体の工数・実施事項をある程度簡素化することによるスピードとコストの圧縮ですから、そこに時間をかけすぎてしまうのは本末転倒です。

テストの発見点は、大きく「仮説の検証」「新仮説の発見」に分けられます。前者の「仮説の検証」のためのテストでは、当然ながら事前に仮説を決めておく必要があるのですが、弊社では、1000件以上の調査を行った経験から、「仮説」を事前に定義・整理できるケースは現実的にはあまりないと考えています。

「新仮説の発見」こそ、ユーザーテストにおけるより比重の大きい価値です。そして、「新仮説の発見」という目的においては、「適切なターゲットユーザー」が選べてさえいれば、テスト設計をそこまで厳密に行わなくともさまざまな仮説を得ることができます。

――リモートテストの参加者は「素人」でなく、「テスト慣れした人」が多いことで結果に影響はでないのでしょうか？

池田： 確かに何度もテスト参加される、「テスト慣れ」した方も多くいらっしゃいます。一般的に定性調査では、「調査慣れした人」は好まれません。その理由は「属性がうそくさい」「回答がうそくさい」の2つです。

「属性がうそくさい」のは、調査慣れした人はアンケート回答率を高めるため、調査に選ばれやすいような回答を行う傾向があることに由来します。また、「回答がうそくさい」は、グループインタビューにおいて、モデレータ（司会者）に気に入られやすい、本音からは離れた発言を行いやすい傾向を指しています。

ポップインサイトのリモートユーザテストでは、「属性精度」については、選択肢でなくフリー回答形式の設問を多く含めることで「本当か」を判断しやすくし、「回答精度」については訓練を受けたスタッフの全調査目視チェックにより、「うそ臭い発言」「適当な発言」を検出、必要がある場合には「本音を出してほしい」と注意のアナウンスを徹底して行っています。

――モニタは最初から上手に発話しながら調査できるのでしょうか？

池田： 発話しながら調査を進めるのは、普通の方にとってなじみがあるものとは言い難く、最初からしっかりできる方は少数派です。

そのため、調査参加前（アンケート参加前）のトレーニングとして、「30分程度のチュートリアル」と「テスト調査」を行っており、そこに合格した方のみが調査に参加できるようになっています。

リモートユーザテストのモニタとして調査に参加できるようになるには、録画・録音などの環境設定に加え、「タスク理解」「思考発話（自分の考えをブツブツひとりごとで喋れる）」「設問への回答（理由なども喋れる）」などを設けています。

ほとんどの場合、初回のテスト調査の結果は不合格（テスト再実施、再提出）です。「全く参考にならないモニタ」が調査に参加することを防ぐため、このような厳しいスクリーニング体制を敷いています。

――料金設定が2つありますが、何がどう違うんですか。また、リモートユーザーテストの場合、改善課題の抽出がメインで、具体的な改善を希望する場合はどうしたらいいのでしょうか？

リモートユーザテストの2つのプランですが、「調査＆発見点まで（20万～）」か「レポートまで作成（50万～）」かの違いで、ユーザーテスト結果をどのように扱うかによって最適な方法が異なります。

「調査＆発見点まで（20万～）」の場合は、「説明は良いから、とにかく課題が知りたい」「テスト結果は自分で使うだけ」という方向けのプランです。ユーザーテストの本質的な価値は「改善につながる気づきを得る」ことなので、このプランでも本質的価値は十分に得られると思います。

「レポートまで作成（50万～）」の場合は、「テスト結果を社内で説明する必要がある」「関係者にも理解してもらう必要がある」という方向けのプランです。ビジネスで費用をかけて行う以上、社内外への説明責任が発生するケースも場合と思います。

このプランでは、レポート作成に加えて、弊社のコンサルタントが「報告会」といった形で、リモートユーザーテストで得られた内容の詳しい説明いたします。また発見点の課題に対して、「どう改善すべきか」という方向性も提示しますので、「気づきだけでなく、どう改善したいかも知りたい」という場合にはこちらが適切です。

ちなみに、もっと簡易的にユーザーテストを実施したい人のために、ユーザExpressというサービスも提供しています。