Moz - SEOとインバウンドマーケティングの実践情報

アクセス解析ツール比較レポートにみる製品ごとの誤差や違い、そして利用のポイント (必読!)

Moz 2007/9/26 9:00 アクセス解析／データ分析 | 解説／ノウハウ

2006年11月のこと、僕は大手のアクセス解析ベンダを比較検討するリンクベイトのネタを広く提案した。途方もない努力と作業が必要な話だったけど、Stone Temple ConsultingのEric Enge氏が見事にそれをやり遂げ、とてもすばらしい必読レポート「The 2007 Web Analytics Shootout」（2007年アクセス解析徹底比較）を発表した。

Ericによる中間レポートは以前ブログで取り上げたけど、その時点ですでに有益な情報が報告されていた。しかし、今度出された最終レポートは比較対照データが満載で、適切な解析パッケージを選ぼうという人には、とてもよい取っかかりになると思う。僕にとって重大なメッセージは、要旨（Executive Summary）のセクションで強調されていた。

同じウェブサイトにインストールして同じように設定しても、アクセス解析パッケージによって出てくる数値は違ってくる。違いがはなはだしいこともあり、最も大きい数値を出したパッケージが、いちばん数値の小さいパッケージの150％も多いトラフィックを報告していることもあった……
……解析で生じる誤差の最大の要因は、サイトへのインストール方法の間違いだ。アクセス解析ツールのインストールはソフトウェア開発プロジェクトのように行われる必要があり、正しくインストールされたことを確かめるには、ソフトと同じくらいの精査とテストが必要になる……
……ほかに結果の相違を生み出す大きな要因が2つある。1つはJavaScriptの置き方で、あまりページの下の方に置くと、JavaScriptが実行される前にユーザーがページを離れてしまうことがある。JavaScriptが原因でカウントされなかったトラフィックは、訪問のデータが失われるため（少なくとも本来のランディングページに関するデータと、検索エンジン由来のトラフィックの場合はキーワードデータも失われる）、誤差が生じたと見なすことができる……

ただ、このレポートに反論する人がいないわけじゃない。僕の親友でアクセス解析の第一人者であるAvinash Kaushik氏は、レポートを大筋では評価しながら、いくつか懸念も示している（このことをブログに書いてくれたらよかったのだけど、このビデオのほかにはリンクできそうなものがない）。レポートについてEricに簡単なインタビューを申し込んだところ、応じてもらえた。

Rand：このアクセス解析比較プロジェクトは完成までに9か月かかりました。大変な量の仕事です。プロジェクトを立ち上げて実施するなかで、難かしかった点、時間がかかった点を教えてもらえますか？

まず、参加するベンダーとウェブサイトを集めるだけで3か月かかりました。ベンダーごとにインストールの手順を学ばねばならず、さらにそれを参加する各サイトに実際に行っていく必要がありました。
参加サイトへのコードの設置ができてしまえば、実際のデータ収集に関しては私たちの側でそれほど作業はありませんでした。興味深いパターンが浮かび上がってくるよう、データ収集に数か月かけました。
ただ、定性的な分析も意図していたので、きちんとまとめられるように各アプリケーションでさまざまなことをやって、何ができて何ができないのかを明らかにするのに多くの時間を割きました。また、これに関していろんなベンダーに電話で教えを求めたので、これにも多くの時間がかかりました。
最後に、大事なことを忘れていましたが、データの分析には相当の手間がかかりました。膨大な数値データが集まっており、意味のある情報が浮かび上がってくるまで、大量の分析を行わなければなりませんでした。

Rand：技術面について、アクセス解析プログラムにはインストールや運用が簡単なものもあれば難しいものもあると書かれていますが、とくに難しかったのはどの部分でしょうか？アクセス解析パッケージをうまくインストールできておらず、そのために間違ったデータを収拾しているユーザーは、たくさんいると思いますか？どの会社がどこを直すべきというのはありますか？

※Web担編注
Visual Sciences（WebSideStory）は日本では事業を行っていない。
オムニチュアのSiteCatalystやVisual Sciences（HBX）など、ハイエンドの顧客をターゲットにしているものがあって、これらは高い柔軟性とカスタマイズ能力を備えています。行動ターゲティングなどの用途にも使えるんです。
そうしたものはインストールが比較的難しくなります、基本的なことに余計な手間がかかることがあるのです。たとえば、（Visual Sciencesの）HBXでは、DNSサーバーの設定にCNAMEレコードを追加して、解析用のcookieがファーストパーティCookieになるようにするする必要があります。これをやることで正確性がいくらか上がるのですが、やりたくないという人もいるでしょう。
それが済んでトラッキングしたいものの設定に入ると、JavaScriptのカスタマイズが必要だと気付くことが、ほかのパッケージの場合よりも多くなります。
間違ったインストールについてですが、解析の際の誤差の1番の原因はJavaScriptのタグエラーだというのが、アクセス解析業界の常識だろうと私は思います。それを証明する具体的なデータは手元にないのですが、たとえば、付けるべきタグが付いていないページに何度も遭遇しました。
これはまだ序の口です。JavaScriptのカスタマイズ（たとえば、ページをグループ化するために共通のラベルをタグ付け）を行うのですが、そのカスタマイズがゴチャゴチャになってしまうことがあります。グループに属するページを追加するときに、同じグループ名を正しく指定できているのでしょうか？開発者が間違ってタグを消してしまう可能性もあります。
最後になりますが、不正な形式のJavaScriptをページに追加してしまうこともあって、その種の間違いは何度か見たことがあります。
会社がやらなければならないのはなによりも、ソフトウェアの開発プロセスと同じように、検証とテストを行うことです。データが出始めたら疑いを持ち、つじつまが合っているかどうか確かめる必要があります。

Rand：レポートを読むと、ページビューと訪問のデータにかなりのばらつきが見られます。おもな原因は何だと思いますか？技術上の問題？プログラム上の問題？それとも時間的な違いのようなものが出たのでしょうか？

SES San Joseのプレゼンで話をしたのですが、数値の違いにはいくつかのタイプが考えられます。次のようなものです。
3.1　処理されるデータの質、あるいは曖昧さ――ウェブは乱雑です。ウェブ上の集計というのは、確定的に決まるものではまったくありません。AOLからのユーザーはセッション中にIPアドレスが変わることがあります。プロキシがリファラ情報を削ってしまうこともあります。約3％のユーザーはJavaScriptを無効にしています。2～3％のユーザーはcookieに対応していません。こうした問題は多数あります。
そしてパッケージによって問題への対処が違います。たとえば、cookieを受付ない人からはセッションに関する情報を集めないパッケージがあれば、IPアドレスやユーザーエージェント名のトラッキングを最後の拠り所にしているパッケージもあります。
3.2　セッションの扱い――業界で標準的なセッションのタイムアウト時間は30分ですが、すべてのパッケージでそうなっているわけではありません。たとえばClickTracksはデフォルトで15分です（もちろん30分に設定することは可能）。
3.3　JavaScriptの配置――これも大きな原因になっていることがが判明しました。訪問者数を計算する解析用のJavaScriptが実行されるのを1.4秒遅らせて影響を測定したところ、トラフィックが2～4％減少することが判明しました。JavaScriptの実行までの時間を増やすと、この問題はもっと大きくなると考えています（JavaScriptが実行される前にユーザーがリンクをクリックしてページを離れてしまう可能性が大きくなる）。

Rand：1か月に数千ビジター程度の小さな企業やウェブサイトが解析を行うとしたら、どこの製品がお勧めですか？

※Web担編注
ClickTracksは日本ではインフィネットが扱っているが、無料版のClickTracks Appetizerは日本語版は提供されていない。
Google AnalyticsまたはClickTracks Appetizerという答えになると思います。質問から、分析のニーズは比較的単純なものだろうと想定しています。
それに、そうした企業では予算に限界があって、解析に割けるお金は少ないと思うのです。だとすると無料の製品が最適かもしれません。費用は社内でツールを使う人の人件費だけで済みます。

Rand：それでは、比較的大きな会社やサイト、1日あたり1万ビジター以上で、もう少し複雑なアクションやコンバージョンのトラッキングが求められるところに話を移しましょう。お勧めは変わりますか？

※Web担編注
残念ながらIndexToolsも日本では事業を行っていない。
予算に相変わらず限りがあり、かつGoogle AnalyticsやClickTracks Appetizerでは機能が足りないのだとすれば、ClickTracksやIndexToolsが中規模パッケージとして良いでしょう。無料ツールよりずっと豊富な機能が手ごろな値段で手に入ります。
ただ、最良の選択というのは実際の要件で決まるもので、それはサイトによって大きく変わってきます。

Rand：最後に、1か月あたりのビジターが何百万という、かなり規模の大きいサイトに向いているところはありますか？

Googleを含め、すべてのベンダーには企業レベルのユーザーが付いています。Googleはサイトでいくつか公開していますし、ClickTracksやIndexToolsも企業ユーザーを大量に抱えていて、ユーザーは必要なものをツールから得られています。予算があるからといって、必要もないハイエンドのアプリケーションにお金を払う理由はないのです。
とはいえ、トラフィックがこのレベルになると、大々的なカスタマイズができるパッケージが必要になる可能性は高くなります。たとえば、ダイナミックな解析でデータを行動ターゲティングシステムに送って、ウェブアプリケーションを実行中にアップデートするということが考えられます。こうしたことが可能なAPIやカスタマイズ機能が、Visual Sciencesやオムニチュアのパッケージには付いています。
もしくは、オンラインとオフラインの顧客データを統合したいという場合は、Unica Affinium NetInsightを真剣に検討する必要があります。
最後の3つの質問への答えをまとめると、どのパッケージを選ぶかは価格ではなく要件で決めるべき、ということです（もちろん、パッケージの価格が手の届く範囲で）。

Rand:レポートで測定の基準値として「平均値」を使っていることを、大きく問題視している人がいるようです。基準値の必要性はわかるのですが、どうして、ログファイルのデータや、ページロードや訪問だけをチェックするカスタムのJavaScriptを使わず、「平均値」を選んだのですか？

平均値が実際には標準に相当しないことは承知していました。というのも、この場合正しい答えのようなものはなく、正しい答を装うつもりはなかったのです。ただ、これを使うことで標準偏差による解析ができて便利だったのです。標準偏差を使うとパッケージ同士がどう違うのか、見通しのようなものがつかめると思っています。
ログファイルを調べたもののほうが標準として良かったかもしれませんが、使える時間には限りがありました（作業は数百時間に及んだ）。
それよりも、このデータから次のことを読み取ってほしいと思います。
7.1　ビジターが最も多いパッケージは最も少ないパッケージより、50％もビジター数が多くなるケースががあります。これはすごい違いです。
7.2　4つのサイトについて訪問数、ユニーク訪問者数、ページビュー数をみたとき、相対的にどのパッケージが多くてどのパッケージが少ないかは、サイトによってかなり違います。
7.3　JavaScriptの配置が結果に与える影響について集めたデータから、これが大きな問題であることがわかりました。実は、われわれはこの点についてさらに深く研究しようとしています。

Rand：コンサルタントや組織は集められたデータをどう利用したらいいのか、提案はありますか？この情報が最も役立つ分野は何でしょう？

私たちはレポートからいくつか大きな結論を導き出しました。それを挙げてみます。
8.1　解析パッケージは正確ではありません。少なくとも、絶対的な意味では。このことは今回の調査で学んだ最も明らかなことの1つです。解析という点で見ると、インターネットは乱雑です。トラフィックの測定だけでも単純ではなく、ましてや解析となるとなおさらです。
ただ、パッケージの比較測定の能力は際立っているので、これを使いこなすことに集中することです。SEO関係のアクセス解析、PPCキャンペーン解析、顧客のセグメント化、A/Bテスト、多変量のテストはかなり有効です。最も有用でROIが見込めるのはここでしょう。
8.2　誤差を知る。つまり、サイトで使っているアクセス解析パッケージの精度の問題を把握しておくこと。集めたデータの有効活用法がわかってきます。
8.3　あらゆる手段で検証・較正する。PPCキャンペーンの総売上を計算するのにアクセス解析ツールを使ってはいけません。データの一部が抜け落ちることになります。この場合は、PPC広告のURLパラメータで知りたいことを把握します。
8月23日木曜日（米国時間）の朝、SES San Joseの「解析を解析する」セッションでは、私が見たところ出席者の50％が、サイトで複数のアクセス解析パッケージを使っている様子でした。
8.4　パッケージの長所と短所はさまざま。どのパッケージが会社にとってベストなのかは、具体的な要件とパッケージの長短を比べて評価します。ただサイトが大きいという理由で高いパッケージを買わないように。
8.5　具体的には、HBXはたいてい他のパッケージよりもカウント数が少なく、ClickTracksは他のパッケージよりも多いということは言えそうです。ただ、このことは、8.1でも書いたように、各パッケージから大変価値のあるデータが入手できる事実に影響するとは思いません。

Ericにお礼を言いたい。洞察力に富んだインタビュー（この先ずっと、このインタビューとレポートを引き合いに出すと思う）はさることながら、この力作に費やされた何百時間、さらには、解析ツールのユーザーやアクセス解析の必要があるみんなに技術的・比較対照の見地からよりよい見取図を与えてくれたことに対して。Ericへの支援を表明したいという人は（僕からもお願いしたい）、彼のサイトと今回のレポートにリンクを張ろう。これはすばらしい価値のあるバイラルコンテンツだと僕は思う。アクセス解析ツールのアカウントをもっているマーケティングのプロは、決して見逃せないものだ。