ウェブマスター ツールの新機能： クロール エラー の通知 | Google ウェブマスター向け公式ブログ

Google はこの度、クロール時にサイトの状態に何か問題を発見した際にウェブマスター ツールのメッセージ センターにアラートをお送りするクロール エラー の通知を開始いたしました。

皆さまのサイトには、Googlebot が定期的に（一定の間隔とは限りませんが）訪れています。そのため、サイトで接続の問題や HTTP エラー コード（例： 404 File Not Found、403 Forbidden、503 Service Unavailable 等）を返すページが急増したことを察知することができます。Googlebot がアクセスした際にタイムアウトやシステムエラーが発生しているということは、他の訪問者がサイトを訪れた時にも同様の問題に遭遇している可能性があります。

そこで、そのようなエラーを検知した場合、Google はウェブマスター ツールの メッセージ センター へのメッセージという形でアラートを送信し、検知結果をお知らせすることがあります。このメッセージが、あなたのサイトへの訪問者や、サイトの検索結果に影響しかねない潜在的な問題の解決に繋がれば幸いです。

こちらの ブログ記事 でウェブマスター ツールの クロール エラー の新機能についてお伝えしましたが、そこでも述べているように、クロール エラーはサイト エラーと URL エラーの 2 種類に分類されます。

サイト全体に影響する問題を知らせる、サイト エラー アラート
サイト エラーとは、サイトに接続不能となる状態のことを指し、特定のページの問題ではなくシステム的な問題のことを表します。サイト エラーを起こす問題には以下のようなものがあります：

• DNS サーバーがダウン、または設定が誤っている。
• ウェブサーバー自体にファイアウォールによるアクセス制限がかかっている。
• ウェブサーバーが Googlebot からの接続を拒否している。
• ウェブサーバーが過負荷またはダウンしている。
• サイトの robots.txt にアクセスできない。

これらのエラーはサイト全体に影響するものであり、しっかりと運営されているサイトではほとんど発生しないものです（Googlebot がクロールする大半のサイトで、このようなエラーは起きていません）。Googlebot によってこれらのサイト エラーが相当数検出された場合、サイトの規模に関わらず、メッセージ センター へのメッセージという形でアラートをお送りします。


アラート メッセージには Googlebot がサイトをクロール中に遭遇したエラーの数、サイト全体のクロール エラー接続率、データをより詳細に検討するためのウェブマスター ツール ページへのリンク、および問題解決のための提案が列記されます。

これらのカテゴリの内の 1 つでエラー率が 100 パーセントとなる場合は、サイトがダウンしているか、何らかの設定が誤っている可能性があります。逆にこれらカテゴリのいずれかでエラー率が 100 パーセント未満の場合は、一時的な現象であることも考えられますが、サイトが過負荷になっているか構成が不適切である可能性も捨てきれません。問題を更に詳細に調査するか、フォーラムで質問をしてみてください。

全体のエラー率がかなり低くても、アラートをお送りする場合があります。Google の経験則として、しっかりと設定されたサイトでは、上記にあるようなタイプのエラーはほとんど発生しないはずだからです。

重要性の比較的低い問題に対する、URL エラー アラート
サイト エラーが相当数検出される場合、サイトの誤設定、過負荷、または単純にサービス停止などが疑われますが、URL エラー（非 200 HTTPコードを返す、またはソフト 404 エラーの場合に HTTP 200 コードを誤って返す）はしっかりと構成されたサイトでも発生し得ます。ページや外部リンクの数はサイトによって異なるため、小規模なサイトにおいて深刻な問題を示唆するエラー数は、大規模なサイトの基準からすると、完全に正常だということも考えられます。

そこで URL エラーに対しては、5 つのエラー カテゴリ（サーバーエラー、ソフト 404、アクセス拒否、見つかりませんでした、クロールを完了できませんでした）のいずれかでエラー数の急上昇が検出された場合にのみアラートをお送りしています。例えば、サイト内の 100 ページで定期的に 404 エラーが発生しており、そのエラー数の変動が少なければ、アラートは送られません。しかし、エラー数が 500 や 1,000 などに急上昇した場合にはアラートが送信される可能性があります。一点ご注意いただきたいのは、404 エラーそれ自体が必ずしも悪いのではなく、健全なウェブサイトにはごく自然な現象なのだという点です。（以前のブログ記事、404 はサイトに悪影響を与えますか？をご参照ください）。

エラー数急増は、サイトに何らかの変更があったためと考えられます。例えば、設定によってサイトの一部のパーミッションが変更された、最近バージョンアップしたスクリプトが定期的にクラッシュしている、誰かが誤ってディレクトリを丸ごと移動または消去してしまった、またはサイトの構成の変更によってサイト外からのリンクがリンク切れになってしまった、などの可能性が挙げられます。もちろん、エラー数の急増が一過性のものだったり、外部要因（存在しないページへリンクされた等）によるものだったりするかもしれませんので、問題が存在しないこともあり得ますが、異常な数のエラーが発生しているのを検知した場合は調査ができるようアラートを送信します。