Googleクローラーは3種類あった | 清水誠メモ

前回の調査で、本サイトにロボット（クローラー）らしきアクセスが毎日1,500ビューあることが分かりました。このうち、毎日500PV分（4日間で2,077）がGoogle所有ドメインからのアクセスです。
図:Google Webmaster Toolのクローラーログ:
Google Webmaster Toolのクローラーログと比較
GoogleのWebmaster Toolsに自分のサイトを登録しておくと、クロールの回数や転送容量の推移を調べることができます。
図:Google Webmaster Toolのクローラーログ:
グラフのみで数字が公開されていないため、図の上にラインを引いて数値を割り出してみました。12/1～12/4の合計値は1,275PV。
66.249.65.*が検索エンジンのクローラーだとすると合計1,359PVなので、上記の1,275とほぼ一致します。
図:Google Webmaster...