グーグルのクロール頻度の設定を変えると訪問ペースがどれくらい変わるのか調べてみた

僕は最近、あるクライアントの仕事をしていて、ちょっとした実験をやってみようと思ったんだ。グーグルのWebmaster Toolでクロール速度を変えると、本当に何か違いが生じるのかどうか知りたかったんだ。

僕は心のどこかで、Webmaster Toolの設定ってのは、グーグルの訪問頻度を変えられると思わせるだけのためにあるんじゃないかと疑ってたんだけど、別のどこかではグーグルを信用したい気持ちもあったんだ。

僕は、ユーザーエージェントの情報、グーグルが訪問したページと日付をすべてデータベースに格納するスクリプトを大急ぎで書いた。このスクリプトを200日間実行したんだけど、そのうち90日はクロール速度を「高速」にして、残りを「標準」に設定した。それから、新しいブログを投稿してからグーグルが初めてその記事を訪問するまでの時間も記録した。最初の55日間は「標準」で、それから「高速」で90日間、そのあとふたたび「標準」に戻して55日間、データを追跡した。

集まったデータを解説する前に、背景情報をちょっと説明しておこう。

僕がこの実験を開始した時点で、そのWebサイトは開設から1年以上経過していて、グーグルにキャッシュされてるページ数は45ページだった。新しいブログ記事の投稿は週に2～3回で、その都度、新しいコンテンツがサイトに加えられていく。そのサイトは、ブランド名と、その他その分野に関連する2～3個のキーワードでなかなかの順位を獲得している。

実験期間中に、80件を超える新しいブログ記事をサイトに追加した。

• クロール速度を「標準」にしておくと、グーグルが初めてページを訪問するまでに平均で3.4日かかった。

• クロール速度を「高速」にすると、グーグルが初めてページを訪問するのに要した日数は平均で2.9日だった。

これは、僕の基準ではさほど大きな差とは思えないんだけど、興味深いデータではあるよね。断っておくけど、これは、ページが最初にインデックスにキャッシュされたタイミングではなく、ボットが初めてページを訪れたときという意味だからね。

クロール速度を「標準」にすると、グーグルは1日につき平均6回サイトを訪れている。訪問回数が多いのは、火曜日と金曜日と日曜日だ。

一方、クロール速度を「高速」にすると、グーグルは1日平均7.5回サイトを訪問している。訪問回数が多いのは、水曜日、木曜日、土曜日。クロール速度を「標準」にしておいた場合に比べて、90日間で135ページ分多く訪問してもらえたことになる。

上のグラフを見ると、クロール速度を「高速」にすると、少しだけ日数が短縮できているのがわかる。とはいえ、それも90日のうちのほんの一部に過ぎなかった。この結果を見て僕は、このサイトの場合、グーグルのWebmaster Toolでクロール速度を変えても、あまり意味がないという結論に達したんだ。