SMX Advanced Seattle 2010 : SEOの科学的アプローチ | SEO Japan

2日目の午前セッションは「So You Want To Test SEO?」、SEOのテストはどうやればよい？という内容。これまであまりSESやSMXで聞いたことの内容なのでちょっと注目。モデレーターはサーチエンジンランドのバネッサ・フォックス。スピーカーはシアトルのSEOコンサル、ジョン・アンドリュース、アドビ（オムニチャー）のシニアコンサルタント、ジョーダン・レバロン、ホワイトウェブのR&D SEOスペシャリスト、ブランコ・リットマン、そしてAvvoのマーケッター、コンラッド・サム。


まずはプレゼンから。
テストの際の重要なこと
初めはAvvoのマーケッター、コンラッド・サム。弁護士の検索サイトを運営しているようですね。3年前に初めてSEOに取り組んだそうで、まさかここで話すとは思わなかったと。
ユーザーを平均化するのはよくない。今日の会場を平均化すると、胸が1つで睾丸が1つのに人間になってしまう 笑
■サンプルについて
変異性が低い時は一部にデータの平均値が集中している。変異性が高い時はデータの平均値が分散している。
■サンプルサイズ
2つのデータを比較して、統計の信頼区間を説明（難しいので省きます）。
■実際のテストケース
例えばH1タグの色を太字にしてピンクにして順位変動の効果を10ページで試してみる。対象データと比較して全体的にランキングが少し下がった。しかしここで単純に判断してはいけない。信頼区間を使って分析すべき。変異性を意識して無駄なデータを排除する。データが足りない時はサンプルサイズを増やす。

いきなり文系の私にはハードな内容でした。すみません、同じく統計学の話で知識が足りず正確な訳が厳しかったです。うちのDLPOの担当者がいれば大丈夫なのですが 汗。基本的には、データの分析をする際は、信頼区間を意識して正確にテストをしようという話でした。信頼区間について興味がある方は検索して御調べください m(_ _)m

SEOに科学はあるか？
次はシアトルのSEOコンサル、ジョン・アンドリュース。元科学者でもあるそうです。
SEOのテストは科学的に行うことが重要。
・ページランクスカルプティングは効くか？
・GoogleとBingのアルゴリズムは違うか？
・タイトルタグは何文字が適切か？
・-30 -60- 90ペナルティはあるか？
などなどのテストが良く行われたりする。
マーケティングと科学は違う。マーケッターは意見をいうが、科学者はテストをする。
SEOの世界には科学がない。例えば：
・大きな意見が認められてしまう。
・調査はスポンサー付きで行われたりする。
・誰でも好きなことがいえる。
・成功したら実証もなくそれが正しいことになってしまう。
ここで何故かタカハシ・シンさんという人が書いたマンガ形式の統計本を紹介。
マーケッターは科学者になれるのか？
SEOの世界ではたまたまSEOをやっていた人のたった1つの体験談や、有名人がいったことや、ソーシャルメディアの噂が真実のように語られてしまう。
科学者は失敗をしながら学ぶ。SEOは失敗を認めない人が多い。SEOは全て実験だ。
SEOで自分がやったこと。
SEOで自分で見たこと。
それをもっと公開して、他人ともデータを共有して意見を聞こう。皆がそうすることで、より科学的なSEOのテストがソーシャル上で可能になる。
公開するデータは純粋なデータであり、それはデータとして正しい。それについて意見を述べた時、その内容については色々議論があるだろう。避難する人も多いだろう。しかしその意見交換を通してより科学的なSEOのテストができる。

SEOにはもっと科学的なアプローチが必要という話でした。そうなんですけどね。

何故テストが必用？
次はアドビ（オムニチャー）のシニアコンサルタント、ジョーダン・レバロン。
ヴァンパイアを殺すにはどうしたらいい？伝統的にはこの2つの手法が有名だ。
1. 心臓をくいで突き刺す
2. 太陽の光を当てる
最近ヴァンパイア関連の映画やテレビが人気だが、色々新しい手法が登場している。何が正しいのか良く分からなくなっている。
マット・カッツのいうことを何でも信じるのは間違いだ。自分でテストすべき。
■テストの必要性
テストは常識やビューロクラシーをくつがえすために必要だ。
■テストの方法
テストする要素を決める。1つだけにする。
↓
実践する
↓
モニタリングする
↓
共有（最低でも社内で）して意見交換する
テストの方法を変えないことが重要。
■コンバージョンへのインパクト
オムニチャーのテスト＆ターゲットでSEOに関連する要素がコンバージョンに与えるテストができる。ナビゲーション、ヘッダー、コンテンツの文章、内部リンクなど。SEOの手法でコンバージョンを下げる要素がないか調べる。
ベースラインの指標：
・訪問、検索
・検索結果の順位
・KPI（ECサイトであれば検索単位の売上など）
レポート
・トレンドを分析
・段階毎に分析
例えばGoogleからのアクセス→特定のキーワードからのアクセス→アクセスがあったランディングページなど段階ごとに分析。全体を一目で確認できるようなダッシュボードを用意して簡単に全体を把握して分析できるようにしよう。

急に初心者向けの話になりました。

SEOの科学的テスト方法
最後はホワイトウェブのR&D SEOスペシャリスト、ブランコ・リットマン。分子生物学の博士だそうです。イスラエルからこのための来たそうで。SEO Scientistというブログを書いているそうです。音楽はベックが好きだそうで。
SEOやネットマーケティングでは「データを分析して、公開する」という伝統的な科学的手法が少ない。
1. 質問を定義する
特定の現象を観察してから定義される。例えばリンクを通じてページランクがどれだけ伝わるか、など。
2. 情報を収集する
既に誰かがテストしているかもしれない。仮説があるかもしれない。同じ現象でも違う呼び方があるので注意。例えばover optimization penaltyは-950 penaltyと呼ばれたりする。
3. テストを行い、データを収集する
キーワード関連のテストをする時は、検索結果が少なすぎたり（数十など）、多すぎる（何百万など）キーワードではなく、適度な量（数万～数十万など）のキーワードが理想。
サイトの内容を一時的に変更し、元に戻す。それを何度か繰り返して、順位に変動があるか確認する。
4. データを分析して結論を導き出す
結論に関して
・結論が当初の予想と同じだったか、違っていたか？
・結論に関して別の理由が考えられないか？
・結論は既存の仮説やデータと同じだったか？違っていれば何が違うか？
・重要なのは結論を他者と共有して意見を聞くこと
データ分析については統計分析は難しい。できれば専門家に頼むべき。
自分自身のバイアスに左右されないことが重要だ。
例えば馬の走っている絵を描く時、大抵の画家は前足を前に出した時、後ろ脚を後ろに出している状態の絵を描く。実際には馬はそういう走り方はしない。
ソーシャルウェブにデータと結論を公開すべきだ。今まででは考えられなかったような意見を聞くことができる。

SMXでのプレゼンは初めてということですが一番上手で面白かったですね。拍手も一番多かったです。

Q&A
Q: テストをする際に自分のサイトだけでテストするのか？それか競合など外部サイトの状況もトラッキングするのか？
A: 良い質問だ。我々はテストをする際は外部サイトのトラッキングは基本的にしない。サイトの状況を完全に把握するのは難しい（Avvo）。
A: リンクに関していえば、外部サイトと協力してテストすることもある（ブランコ）。
Q: テスト結果を公開するのに自分のブログ以外に良い場所はあるか？
A: ツイッターをやっているが僕のフォロワーはSEOに興味がある人しかいない。仕事でSEOについてつぶやいているだけだし 笑。そこで公開することで多くの人に見てもらえる。科学の世界では特定のトピックに関するワーキンググループが多数存在し、そこで情報や意見を交換することができる。その意味では掲示板もいいと思う（ジョン）。
A: ブログでデータを公開してRSSフィードで情報を流せば誰でもその情報を利用できる（ブランコ）。
Q: SEOテストのティップスが何かあるか？
A: SEOをテストする場合の問題は、実際のサイトと同じ環境をテストサイトで確立することが難しいことだ。後、キーワードをテストする場合も実際のキーワードとは違うキーワードでテストする場合も多い。どこまで実際の環境に近い状態でテストできるかが難しい。
以上でした。もう少し具体的なSEOのテストと実験結果の事例があるかな、と思ったのですが、前半のプレゼンは統計学101的な内容だったり、オムニチャーはネットマーケッターには初心者すぎる内容だったり少し残念でした。イスラエルのブランコ氏は良かったです。こちらが彼のブログのようなので後で読んでみることにします！滅多に更新はしないようですが、1つ1つの記事は濃さそうです。