ホスティング プロバイダとウェブマスターの皆様へ | Google ウェブマスター向け公式ブログ

Google ウェブマスター向け公式ヘルプフォーラム に寄せられる質問の中には、ホスティング プロバイダの設定に起因するものがときおり見られます。そこで今回は、これまでにあった一般的な問題と修正方法をご紹介します。ホスティング プロバイダとウェブマスターの皆さまがこのような問題を認識、診断、修正するのに役立てば幸いです。

• Googlebot のクロールがブロックされている: これはよく発生する問題で、通常はファイアウォールや DoS 攻撃防御システムの設定ミスで発生することが多く、また一部のサイトが採用している CMS（コンテンツ マネージメント システム）が原因で発生することもあります。防御システムはホスティングの要ともいえる要素で、サーバー リクエストの頻度が高い場合には自動的にブロックするよう設定されています。Googlebot はその性質上、人間のユーザーよりも多くのリクエストを実行するため、防御システムが Googlebot をブロックの対象と判断してしまい、その結果ウェブサイトがクロールできなくなることがあります。このような問題が発生していないか確認するには、ウェブマスター ツールの Fetch as Googlebot 機能 を使用して実際に Googlebot がクロールできているかを確認したり、ウェブマスター ツールの クロール エラー において何かアラートが表示されていないかを確認したりしてください。
  
  Google では Googlebot によるクロールをより高度に制御したいウェブマスターの皆さまとホスティング プロバイダ向けに、いくつかのツールや情報を提供しています。これらの対策を実装することにより、クロールの効率も向上します。
  
  • robots.txt ファイル や URL パラメータの設定 を活用して Googlebot のクロールを制御する方法について、詳細なヘルプ記事を用意しています。
  • Googlebot のユーザー エージェントを偽装した不正なロボット対策方法については、ヘルプ記事「Googlebot の確認」をご利用ください。
  • Googlebot のリクエストの速度を変更するには、ウェブマスター ツールであなたのサイトを確認し、クロール速度の変更 を行ってください。ホスティング プロバイダが IP アドレスの所有権を確認することもできます。
  クロールとインデックスに関する FAQ でも様々な情報を提供していますのでぜひご覧ください。
  
  
• サイトへ接続できない: 上記と似たような問題で、Googlebot（およびユーザー）がウェブサイトにアクセスしようとしても繋がらない場合があります。これには DNS の問題、サーバーの過負荷によるタイムアウトや接続拒否、コンテンツデリバリネットワーク（CDN）の設定ミス、その他多くのエラーが含まれます。Googlebot がこのような問題に遭遇した場合は、ウェブマスター ツールで URL にアクセスできないエラー または クロール エラー として報告されます。
  
  
• 無効な SSL 証明書: ウェブサイトの SSL 証明書が有効であるためにはサイト名と一致している必要があります。よく発生する問題としては、有効期限の過ぎた SSL 証明書を使っていたり、サーバー上のすべてのウェブサイトで同じ証明書を使用する設定にしていたりといったサーバー側の設定ミスがあります。このような状況ではほとんどのウェブ ブラウザーがユーザーに警告を行います。Google もウェブマスター ツール経由でメッセージを送信し、ウェブマスターに通知します。この問題を解決するには、ユーザーが目にするウェブサイトのすべてのドメインおよびサブドメインに対して SSL 証明書が有効であることを確認する必要があります。
  
  
• ワイルドカード DNS: ウェブサイトがすべてのサブドメイン リクエストに応答するように設定できることがあります。たとえばウェブサイト example.com を、foo.example.com、made-up-name.example.com、その他すべてのサブドメインに対するリクエストに応答させることができます。
  
  特定の場合ではこれが望ましいこともあります。たとえば、ユーザーが作成したコンテンツを提供するウェブサイトでは、各アカウントにサブドメインを付与することがあります。しかし、別のホスト名で不必要にコンテンツが複製され、Googlebot のクロールに影響を与える可能性もあるため一部のウェブマスターにとっては望ましい状況ではありません。
  
  ワイルドカード DNS の設定に関する問題を最小化するには、ウェブサイトでこの技術を使用しないか、存在しないホスト名に対して成功の応答をしないようにサーバーを設定します。この場合、接続を拒否するか、404 の HTTP ステータス コードを返すようにします。
  
  
• バーチャル ホスティングの設定ミス: この問題では、同じサーバーにホスティングされている複数のホストやドメイン名が、常に 1 つのサイトのコンテンツを返す症状が発生します。つまり、サーバーが複数のサイトをホスティングしていても、リクエスト内容にかかわらず 1 つのサイトのみを返すということです。この問題を調べるには、サーバーが HTTP リクエストの Host  ヘッダ フィールドに正しく応答しているかを確認する必要があります。
  
  
• ホスト専用 URL での重複コンテンツ: 多くのホスティング サービスでは、テストや開発用の URL を提供しています。たとえばホスティング プロバイダが http://a.com/ というウェブサイトをホストしている場合、http://a.example.com/ や http://example.com/~a/ などの URL を介してサイトにアクセスできる場合があります。このようなホスト専用 URL は、パスワードで保護するなどして一般ユーザーにアクセスできないようにすることをお勧めします。一方でこういった URL がアクセス可能な場合でも、Google のアルゴリズムはお客様の意図したとおりに URL を取得する場合が多いです。アルゴリズムが  ホスト専用 URL を選択 した場合でも、正しく 正規化 を行うことでアルゴリズムが取得する URL を指定することができます。
  
  
• ソフト エラー ページ: ホスティング プロバイダの中には、エラー ページの表示にエラーのステータス コードの代わりに 200（成功）のステータス コードを使用している場合があります。たとえば「ページが見つかりません」というエラー ページが  404 ではなく 200 を返す ソフト 404 エラー であったり、「サイトが一時的に使用できません」というメッセージが通常のステータス コード HTTP 503 ではなく 200 を返したりします。Google ではソフト エラー ページの検出に努力していますが、アルゴリズムがソフト エラー ページの検出に失敗した場合、これらのページがそのままインデックスされてしまいます。これはランキングや クロスドメイン URL の選択 で問題が発生する原因となる可能性があります。ステータス コードを確認する方法は簡単です。Fetch as Googlebot などのツールを使用して、サーバーが返す HTTP ヘッダーを確認するだけです。エラー ページが HTTP 200 を返した場合、正しい HTTP エラー ステータス コードを返すように設定を変更します。また、ウェブマスター ツールの診断セクションにあるクロール エラー ページで、ソフト 404 の報告がないか確認してください。
  
  
• コンテンツの変更とフレーム: ホスティング プロバイダによってコンテンツが変更され（一般的には、ページにスクリプトや画像が挿入されます）、驚いたことがあるウェブマスターの方もいるでしょう。また、<frames>や <iframe> を使用してサイトのコンテンツが他のページに埋め込まれて表示されることもあります。ウェブ ホストによってコンテンツに意図しない変更が行われたかどうかを確認するには、ホストが提供するページのソース コードを確認し、ご自身でアップロードしたコードと比較します。サーバーによるコードの変更は、とても便利な場合もあります。たとえば、サーバーで Google の mod_pagespeed Apache モジュール （英語）などのツールを使用している場合、ページの表示速度を最適化するために縮小コードを返すことがあります。
  
  
• スパムやマルウェア: 一部のウェブ ホストやサブドメイン サービスが、マルウェアやスパムを広める要因になっている場合があります。Google ではユーザーの保護と検索品質を維持するための措置は、なるべく細やかに対応するようにしていますが、ホスティングされているサイトの大部分がスパム サイトであったり、マルウェアを配布したりしている場合、ウェブ ホスト全体に対して措置を取る必要が出てくることがあります。マルウェアを制御する助けとして、Google は以下のツールを提供しています。
• Safe Browsing Alerts for Network Administrators （英語）: ホスティング プロバイダ向けの情報です。
• マルウェアの通知: ウェブマスター ツール内にある個別のウェブサイト向けの情報です。
• Safe Browsing API について: 開発者向けです。

以上のヒントが、ホスティング プロバイダとウェブマスターの皆さまが問題を見つけ出し修正するのに役立てば幸いです。ここに挙げた以外に、サービスの品質やサポートの充実度など、ホスティングの品質面についても気を配るようにしてください。 

この記事に関するコメントやご質問は、ウェブマスター ヘルプ フォーラム までお寄せください。

Written by Pierre Far, Webmaster Trends Analyst
Original version: Tips for hosting providers and webmasters