グーグル検索コアアップデートの影響をちゃんと分析してみた ―― 誤ったデータに踊らされないように

グーグル検索アルゴリズムのコアアップデート「May 2020 Core Update」をグーグルが実施した。アップデートは2020年5月4日からで。グーグル検索結果の混乱は5月7日までにほぼ収まったようだ。次のグラフは、MozCastで計測した11日間の推移だ。

5月4日～6日に変動が比較的大きくなり、5月5日に112.6度でピークを迎えた。5月4日以前の30日間の平均気温がこれまでにないほど高かった（89.3度）ことに注意してほしい。

以前のコアアップデートと比べるとどうだろうか？

最近の気温が過去の平均をはるかに上回っていたとしても、「May 2020 Core Update」はこれまでのコアアップデートの中で2番目に気温が高く（変動が激しく）、2018年8月のアップデート「Medic」をわずかに下回っただけだ。

5月コアアップデートの「勝者」は誰か

主要なアップデートの後には、勝者と敗者を報告するのが通例になっている（僕もそうしてきた）。しかし少し前から、そうした分析はわずかな期間を対象にしているにすぎないと思うようになった。特定の2つの時点を比較する場合には、検索順位の自然な変動性やキーワードに固有の違いが必ず無視されてしまう。

今回は、見落としがちな点を詳しく見てみたい。勝者に焦点を当てるのだ。次の表は、MozCastが追跡しているキーワード1万件のSERP全体について、1日間（5月5日）の勝者を示している。5月4日の時点で検索結果に少なくとも25件表示されたサブドメインだけを含めた。

通常の統計的疑問（一部のキーワードでサンプル規模が小さいことや、データセット固有の長所と短所など）は脇におくとして、この分析の問題は何だろうか？ 確かに、「増加率」を出すにはさまざまな方法があるが（絶対的変化と相対的割合など）、僕は絶対数を正直に報告しており、相対的変化は正確だ。

問題は、次の2点だ：

• 1日後の数字を出すことを急ぐあまり、ほとんどのコアアップデートは複数の日にわたるという現実を無視した点（最初のグラフで明らかなように、この傾向は5月のコアアップデートでも続いていると思われる）。

• 以前から検索順位が変動的だった可能性のあるドメイン名についても説明できていない点（ただし、これについて詳細は後述）。

アップデートから1日目のデータと2日目のデータを比較したらどうなるだろうか？

どのシナリオを選ぶか

次の表では、2日間で増加した相対的割合を追加している。25件のサブドメインは同じものを使い、一貫性を保つため、ここでも1日目の増加率の順に並べてある。

アップデート直後の2日間を比較するだけで、実情は大きく変わってくることがわかる。問題は、どのシナリオを選ぶかだ。多くの場合、僕たちはリストを見ることもせず、自分のクライアントや恣意的なデータに基づくシナリオに目を向ける。

シナリオ①「2日間にわたるアップデートで2日目はさらに増加」

次のシナリオを考えてみよう。

これしかデータがなかったとしたら、アップデートによって2日間にわたり表示件数が増加し、2日目の増加率はさらに大きくなると結論づけるだろう。アプリの需要がいかに大きくなるかや、特定のニュースサイトがいかに恩恵を受けるかについて、話を作り上げようとさえするかもしれない。こうした話には若干の真実も含まれている場合はあるが、実際のところ、このデータだけではわからないことだ。

シナリオ②「グーグルはコアアップデートに失敗して2日目に撤回した」

ここで、また別のデータを3つ取り上げてみよう（すべて、上位20件の中に入っているドメイン名だ）。

これだけを見ると、グーグルはコアアップデートに失敗したと判断し、2日目に撤回したと結論づけられるかもしれない。同じ理由から、一部のニュースサイトがペナルティを受けたと結論づけることさえできるかもしれない。これらのシナリオは、先ほどの一連のシナリオとは大きく異なる。

シナリオ③「サイトに強烈なダメージを与えた」

2020年5月のデータには、さらに奇妙なシナリオが隠れている。次のケースについて考えてみよう。

LinkedInは1日目にわずかに増加し（普通なら無視するほどの変化だ）、2日目に100%減少している。

「すごい、この5月のコアアップデートによる打撃は強烈だ！」と思うかもしれないが、実際のところLinkedInは、誤ってサイトをインデックスから削除してしまった可能性のあることがわかった（この件に関する日本語での解説はこちら）。翌日には元に戻っており、この大きな変化はコアアップデートと何の関係もなかったようだ。

サイトの表示件数が増減する理由について、実のところ、これらの数字からはほとんど何もわからないということだ。

「通常」をどう定義するか

MarketWatchのデータをもっと詳しく見てみよう。MarketWatchは1日目の統計で19%増加したが、2日目の数字は2%減少している。

ここでの問題は、MarketWatchの通常のSERP変動がどのようなものなのか、これらの数字からはわからないということだ。次のグラフは、5月4日（コアアップデートの開始日）の前後7日間を示したものだ。

履歴データのごく一部を見るだけで、MarketWatchもほとんどのニュースサイトと同様、常に大きく変動していることがわかる。

• 5月5日の「増加」は、5月4日の減少によるものにすぎない。
• 5月4日より後の7日間の平均（45.7）は、5月4日より前の7日間の平均（44.3）からわずかに増加したにすぎない
• MarketWatchの相対的増加率は＋3.2%と小幅だった

次に、2日が過ぎた時点で明らかな勝利を手にしたように見えるGoogle Playを見てみよう。

ここでの違いを明らかにするには、計算するまでもない。5月4日より前の7日間の平均（232.9）とそれより後の7日間の平均（448.7）を比較すると、5月のコアアップデート後、Google Playの相対的変動率は+93%と大幅に増加している。

この前後7日間の比較を、LinkedInの場合に当てはめるとどうなるだろうか？ 以下は前後の数字を示したグラフで、2つの期間の平均を破線で追加している。

LinkedInは前述のようにインデックス削除という事態により異常値が出ているが、このやり方ならば、1日分の異常値を相殺してくれるのは間違いない。

アップデート前後の変動率は依然として-16%になっており、決して現実に則したものではない。5月のコアアップデート後の7日間のうち6日は、7日間の平均を上回っているのだ。なおLinkedInは、短期間の履歴において変動性が比較的低いことにも注意してほしい。

現象を正しく理解するには、1つの計測基準だけでは足りない

僕はなぜ、自分の新たな計測基準ではうまく扱えない極端な例だけをあえて選んでいるのだろうか？ それは、次のことをはっきりさせておきたいからだ。

いずれか1つの計測基準で何もかもが明確になるわけではない

変動について説明し、統計的な検定を実施したとしても、多くの情報は得られないままだ。前後で明確な差があるからといって、実際に何が起こったかはわからない。わかるのは「コアアップデートのタイミングと相関する変化があった」ことだけだ。これは有益な情報だが、包括的な結論に飛びつく前に、さらに詳しい調査が必要となる。

ただし、全体として、この「アップデート前と後でそれぞれ7日間の平均を出して比較する」やり方が、1日分や2日分を切り取った場合より優れているのは間違いない。前後7日間の平均を比較することで、履歴データとアップデート後の7日間全体の両方について説明できる。

この7日間の比較を、より大きなデータセットに拡大したらどうなるだろう？ 以下は、最初の「勝者」リストに新たな数字を追加したものだ。

並び順は、1日間増加率

1つの表にまとめるには明らかに情報が多すぎるが、アップデート前後を比較する計測基準（7日間の平均の相対的な差）によって、一部のケースでは1日間または2日間のデータと異なる実態が見えてくる。

次に、アップデート前後の平均値の変化に基づいて上位20件を並べ直してみよう。

並び順は、5/4前後増加率

大手サイトの一部はそのままだが、新しいサイトもいくつか入っている。そのうちの数サイトは、1日目にビジビリティを失ったように見えるが、2日間と7日間の変化を見ると、ビジビリティを増やしている。

最初のグラフで首位だったParents.comを簡単に見てみよう。1日目には+100%もの大幅な上昇を見せた（ビジビリティが2倍になった）が、2日間分の数字はより控えめで、全体の増加率は1日目の増加率の半分弱にとどまった。以下に、前後の7日間の数字を示す。

これを見れば、1日目の大幅な増加率は、5月4日にビジビリティが下がっていたことも一因の一時的な異常値だったことがわかる。

7日間の平均値を比較する方が、はるかに真実に近いように思われる。これは、僕自身のようなアルゴリズムを追跡している者だけでなく、この「+100%」という数字だけを見て、すぐに上司やクライアントに報告に行くようなSEO担当者への警告でもある。朗報を、守れない約束に変えてしまってはいけない。

なぜ、同じ過ちを繰り返すのか

僕が業界を批判しているように見えるとしても、ここで僕が最も批判の標的としているのは僕自身だということに注意してほしい。早い段階で分析を公開するのは大変な重圧だ。というのも、それがトラフィックやリンクにつながるからだけでなく（正直に言って、それは事実だ）、サイトオーナーやSEO担当者が心から答えを求めているからだ。

しかし、SEO担当者がグーグルのコアアルゴリズムアップデートにどう対応するかのやり方で、危険なアクションがあると思う：

最も危険なのは、アップデートによって観測された一時的な減少を過度に解釈して誤った修正をすること（この件は最近の記事に書いた）。

また同様に、一時的な勝利を誇張してそうした増加率が永遠に続くと期待することも、本当に危険だと思う。

同じくらいリスクのある意思決定につながりかねない。

くだらないと思うだろうか？ 僕はそう思わないが、歩道から足を踏み外して嵐の後のぬかるみにはまり込んでしまうことは、いとも簡単に起こり得ることだと思うし、少なくとも、地面が乾くまで待つ必要がある。

Twitterや24時間でくるくる変わるニュースサイクルの世界では簡単なことではないが、特に長期にわたってこれほど多くの大規模なアルゴリズムのアップデートが公開されていることを思えば、何日ものデータを見ることが不可欠だ。

僕たちはどの数字を信じるべきだろうか？

ある意味ではすべての数字、あるいは少なくとも、十分に検証可能なすべての数字を信じるべきだ。1つの計測基準で全体像を示せるものではない。勝者リストに入ったことを早まって祝う前に、その次の段階を踏み、過去からの傾向や勝利のコンテキストをよく理解することが重要だ。

無料データが欲しい場合

分析の範囲について言えば、この記事ではMay 2020 Core Updateの敗者は対象にしなかったし、上位20位以下のサイトも取り上げなかったが、ここで生のデータをダウンロードできる。編集したい場合は、最初にコピーを作成してほしい。勝者と敗者は別々のシートにあり、これはMozCastの1万件あるデータセット全体で、5月4日に少なくとも25件表示されたすべてのドメイン名（400件強）を対象にしている。