ウェブマスター ツールのクロール エラーの機能が新しくなりました | Google ウェブマスター向け公式ブログ

このページは、外部サイト Google ウェブマスター向け公式ブログ の情報をRSSフィード経由で取得して表示しているため、記事の一部分しか表示されていなかったり、画像などが正しく表示されなかったり、オリジナル記事が意図したデザインと異なっていたりする場合があります。
完全な状態のオリジナル記事は 「ウェブマスター ツールのクロール エラーの機能が新しくなりました」 からご覧ください。
クロール エラーは、ウェブマスター ツールで最も重要な機能の 1 つです。本日は、このクロール エラーが改善され、さらに便利になりましたので、お知らせします。

今回の改善により、数多くの新しいタイプのエラーを検出してレポートできるようになりました。それに伴い新しいエラーは、識別しやすいよう「サイト エラー」と「URL エラー」の 2 つに分けて表示しています。

サイト エラー
サイト エラーとは、特定の URL だけでなく、サイト全体に影響するエラーです。たとえば、DNS の解決エラー、ウェブ サーバーとの接続エラー、robots.txt ファイルの取得エラーなどです。これまではサイト エラーを URL 別にレポートしていましたが、URL 固有のエラーではないためあまり意味がありませんでした。実際これらのエラーでは、Googlebot が URL のリクエストをすることすらできません。そこでこれを変更し、サイト エラーはタイプ別にエラー発生率を記録することにしました。また、サイト エラーの頻度が上がり、注意を要するレベルに達した場合にはアラートを送信することも検討しています。

サイト エラーの発生率と発生回数の時系列表示

ほとんどのサイトは、これらのエラーが発生しないのが普通です。最近サイト エラーが発生していないのであれば、これらのセクションを逐一チェックする必要はありません。そこで、緑色のチェックマークを表示して、すべてが正常に稼動していることを一目で確認できるようにしました。

最近サイト エラーが発生していないサイト

URL エラー
URL エラーは、特定のページにのみ関係するエラーです。つまり、Googlebot がその URL をクロールしようとして DNS を解決し、サーバーに接続し、robots.txt ファイルを取得して読み込んだ後に、この URL をリクエストしたら問題が発生した、というエラーです。ウェブマスター ツールでは、URL エラーをその原因に基づいていくつかのカテゴリに分類しています。サイトで Google ニュースやモバイルのデータ(CHTML/XHTML データ)を提供している場合、それらのエラーは別のカテゴリで表示されます。

タイプ別 URL エラーの発生回数の時系列表示

少ない方が効果的
これまでのウェブマスター ツールでは、タイプごとに最大 10 万件のエラーを表示していました。これほどの量の情報をすべて消化しようとするのは、消防車のホースの水をすべて飲むのと同じくらい困難だったのではないでしょうか。どのエラーの重要性が高く(たとえばホームページがダウンしている)、どのエラーの重要性が低いか(たとえばある個人サイトからのリンクにタイプミスがある)を識別する方法も用意されていませんでした。10 万件のエラーを効率的に確認する手段、たとえば並べ替えや検索、「修正済み」のマークを付ける機能も用意されていませんでした。新バージョンのクロール エラー機能では、最も重要なエラーを強調することに重点を置きました。最も重要と思われるエラー、対処する必要のあるエラーが、カテゴリごとに 1,000 件ずつ表示されます。これら上位 1,000 件のエラーは並べ替えたり検索したりでき、修正済みのマークを付けたり、詳細を表示したりすることもできるようになっています。

どの列でもエラーをフィルタリング/並べ替え可能

サイトによっては、特定のタイプのエラーが 1,000 件を超えるかもしれません。その場合でも、そのタイプのエラーの総数を確認したり、過去 90 日間の履歴データをグラフで表示したりすることは可能です。1,000 件のエラーの詳細と累計エラー数だけでは不十分という場合に備え、API を使ってプログラム的にアクセスし、すべてのエラーをダウンロードできるようにすることも検討しています。

また、robots.txt によってブロックされたページのリストも削除しました。この情報が robots.txt ファイルによる問題を診断する際に役立つこともありますが、大抵の場合はサイト運営者が「意図的に」ブロックしたものです。[クロール エラー]は緊急性の高いエラーを重点的に確認するための項目に特化させるため、robots.txt でブロックされた URL の情報は近日中に [サイト設定] の [クローラのアクセス] に移設する予定です。

詳しい情報を手に入れる
エラー リストの個々の URL をクリックすると、詳しい情報が記載されたウィンドウが表示されます。このウィンドウでは、その URL を最後にクロールしようとした日時、最初に問題が通知された日時、そのエラーの簡単な説明などを確認できます。

URL ごとのエラーの詳細

このウィンドウでは、エラーの原因になった URL のリンクをクリックすることで、実際にアクセスするとどうなるかを試すことができます。他にも、エラーに「修正済み」のマークを付けたり(後ほど詳しく説明します)、エラー タイプのヘルプ コンテンツを見たり、その URL を含むサイトマップを生成したり、その URL にリンクしている他のページを確認したりできます。また、Googlebot に今すぐ URL を取得させて、詳しい情報を入手したり、正しく修正できているかどうかを確認したりすることもできます。

特定の URL にリンクしているページの一覧

エラーに対処する
新バージョンのクロール エラー機能で最も注目してほしいのが、重要なエラーに重点を置いて先に修正できる点です。エラーをランク付けして、対処が可能なエラーほど優先順位リストの上位に表示されるようにしました。対処可能なエラーとは、たとえばサイト内のリンク切れの修正、サーバー ソフトウェアのバグの修正、リンク切れの URL を除去するサイトマップの更新、ユーザーを実在するページに移動させる 301 リダイレクトなどです。ランク付けは、その URL がサイトマップに含まれているか、その URL へのサイト内またはサイト外からのリンクがいくつあるか、その URL への検索トラフィックが最近発生したかなど、さまざまな要因に基づいて行われます。

エラーの修正が完了したら、Googlebot にその URL を取得させることで、正しく修正できているかどうかを確認できます。フル アクセス権のあるユーザーであれば、エラーに「修正済み」のマークを付けることもできます。マークを付けると、そのエラーがリストから削除されます。修正済みのマークを付けたエラーは、URL を再クロールして同じエラーが発生しない限り、再びエラー リストの上位に表示されることはありません。

エラーを選択し、修正済みのマークを付ける

新しいクロール エラー機能にはさまざまな工夫を凝らしてあります。皆様に「これは便利」と感じていただけることを願っております。この記事に関するコメントやご意見・ご感想は、ウェブマスター ヘルプフォーラム までお寄せください。

Written by Kurt Dresner, Webmaster Tools team
Original version: Crawl Errors: The Next Generation

メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

アップロード
手元のPCなどの機器から、ネットワークを介して、別のPCやファイルサーバー、ウェ ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]