スマートフォン用のコンテンツをクロールするための新しい Googlebot ユーザーエージェント | Google ウェブマスター向け公式ブログ

このページは、外部サイト Google ウェブマスター向け公式ブログ の情報をRSSフィード経由で取得して表示しているため、記事の一部分しか表示されていなかったり、画像などが正しく表示されなかったり、オリジナル記事が意図したデザインと異なっていたりする場合があります。
完全な状態のオリジナル記事は 「スマートフォン用のコンテンツをクロールするための新しい Googlebot ユーザーエージェント」 からご覧ください。
Google では数年にわたって、従来の携帯電話(フィーチャーフォン)とスマートフォンのコンテンツに対して別々のクローラーを使用してクロールとインデックス登録を行ってきました。こうしたモバイル固有のクローラーはすべて Googlebot-Mobile と呼ばれていました。しかし、フィーチャーフォンとスマートフォンでは端末機能がかなり異なっており、フィーチャーフォンのクロールやインデックス登録をブロックするつもりが誤ってスマートフォンのクロールやインデックス登録をブロックしてしまったという報告もウェブマスターから寄せられていました。この曖昧さにより、一部サイトのスマートフォン向けコンテンツのインデックス登録や、それらのサイトがスマートフォン向けに最適化されていることの認識が難しくなってしまっていました。
スマートフォン用の新しい Googlebot
状況を明確にし、ウェブマスターの皆様がより的確に管理できるようにするために、Google ではスマートフォン用の「Googlebot-Mobile」ユーザーエージェントの使用を 3~4 週間後に中止します。それ以降、スマートフォン用のユーザーエージェントはシンプルに「Googlebot」となりますが、ユーザーエージェント ストリングのどこかに「mobile」という単語は引き続き残ります。新旧のユーザーエージェントは次のとおりです:

スマートフォン用の新しい Googlebot ユーザーエージェント:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

まもなく使用を中止するスマートフォン用の Googlebot-Mobile ユーザーエージェント:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

この変更が影響するのはスマートフォン用の Googlebot-Mobile のみです。標準の Googlebot のユーザーエージェントには変更ありません。残りの 2 つの Googlebot-Mobile クローラーのユーザーエージェント ストリングでは引き続きフィーチャーフォン端末が参照されます。これらのクローラーは次のとおりです:

標準の Googlebot ユーザーエージェント:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

フィーチャーフォン用の 2 つの Googlebot-Mobile ユーザーエージェント:
  • SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  • DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
ウェブマスター ツールの Fetch as Google 機能を使用してサイトのテストを実施できます。また、ヘルプセンターでは、Google のクローラーの一覧をご確認いただけます。
クロールとインデックス
ユーザーエージェントのアップデートでは次の点にご注意ください。スマートフォン クローラー用の新しい Googlebot では、Googlebot-Mobile ではなく Googlebot の robots.txt、robots メタ タグ、HTTP ヘッダーの指定が適用されます。たとえば、新しいクローラーが導入されている場合、以下の robots.txt の指定によって、スマートフォン用の新しい Googlebot ユーザーエージェントと標準の Googlebot ユーザーエージェントによるすべてのクロールがブロックされます:

User-agent: Googlebot
Disallow: /

以下の robots.txt の指定によって、Google のフィーチャーフォン クローラーによるクロールがブロックされます:
User-agent: Googlebot-Mobile
Disallow: /

Google の分析では、このアップデートにより、ウェブマスターはコンテンツのクロールとインデックス登録をより管理しやすくなる一方で、URL に及ぼす影響は 0.001% 未満という結果になりました。ご不明な点がありましたら、以下をご覧ください:
Posted by Zhijian He, Smartphone search engineer
Original version: A new Googlebot user-agent for crawling smartphone content
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

インデックス
検索エンジンがWebページをデータベースに保存しているデータベース。データベース ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]