Aggregator

アサヒビールのWeb広告担当者体験談の後編。施策を通じて得た経験や思いとは

クロール エラーは、ウェブマスター ツールで最も重要な機能の 1 つです。本日は、このクロール エラーが改善され、さらに便利になりましたので、お知らせします。

今回の改善により、数多くの新しいタイプのエラーを検出してレポートできるようになりました。それに伴い新しいエラーは、識別しやすいよう「サイト エラー」と「URL エラー」の 2 つに分けて表示しています。

サイト エラー
サイト エラーとは、特定の URL だけでなく、サイト全体に影響するエラーです。たとえば、DNS の解決エラー、ウェブ サーバーとの接続エラー、robots.txt ファイルの取得エラーなどです。これまではサイト エラーを URL 別にレポートしていましたが、URL 固有のエラーではないためあまり意味がありませんでした。実際これらのエラーでは、Googlebot が URL のリクエストをすることすらできません。そこでこれを変更し、サイト エラーはタイプ別にエラー発生率を記録することにしました。また、サイト エラーの頻度が上がり、注意を要するレベルに達した場合にはアラートを送信することも検討しています。


ほとんどのサイトは、これらのエラーが発生しないのが普通です。最近サイト エラーが発生していないのであれば、これらのセクションを逐一チェックする必要はありません。そこで、緑色のチェックマークを表示して、すべてが正常に稼動していることを一目で確認できるようにしました。


URL エラー
URL エラーは、特定のページにのみ関係するエラーです。つまり、Googlebot がその URL をクロールしようとして DNS を解決し、サーバーに接続し、robots.txt ファイルを取得して読み込んだ後に、この URL をリクエストしたら問題が発生した、というエラーです。ウェブマスター ツールでは、URL エラーをその原因に基づいていくつかのカテゴリに分類しています。サイトで Google ニュースやモバイルのデータ（CHTML/XHTML データ）を提供している場合、それらのエラーは別のカテゴリで表示されます。


少ない方が効果的
これまでのウェブマスター ツールでは、タイプごとに最大 10 万件のエラーを表示していました。これほどの量の情報をすべて消化しようとするのは、消防車のホースの水をすべて飲むのと同じくらい困難だったのではないでしょうか。どのエラーの重要性が高く（たとえばホームページがダウンしている）、どのエラーの重要性が低いか（たとえばある個人サイトからのリンクにタイプミスがある）を識別する方法も用意されていませんでした。10 万件のエラーを効率的に確認する手段、たとえば並べ替えや検索、「修正済み」のマークを付ける機能も用意されていませんでした。新バージョンのクロール エラー機能では、最も重要なエラーを強調することに重点を置きました。最も重要と思われるエラー、対処する必要のあるエラーが、カテゴリごとに 1,000 件ずつ表示されます。これら上位 1,000 件のエラーは並べ替えたり検索したりでき、修正済みのマークを付けたり、詳細を表示したりすることもできるようになっています。


サイトによっては、特定のタイプのエラーが 1,000 件を超えるかもしれません。その場合でも、そのタイプのエラーの総数を確認したり、過去 90 日間の履歴データをグラフで表示したりすることは可能です。1,000 件のエラーの詳細と累計エラー数だけでは不十分という場合に備え、API を使ってプログラム的にアクセスし、すべてのエラーをダウンロードできるようにすることも検討しています。

また、robots.txt によってブロックされたページのリストも削除しました。この情報が robots.txt ファイルによる問題を診断する際に役立つこともありますが、大抵の場合はサイト運営者が「意図的に」ブロックしたものです。[クロール エラー]は緊急性の高いエラーを重点的に確認するための項目に特化させるため、robots.txt でブロックされた URL の情報は近日中に [サイト設定] の [クローラのアクセス] に移設する予定です。

詳しい情報を手に入れる
エラー リストの個々の URL をクリックすると、詳しい情報が記載されたウィンドウが表示されます。このウィンドウでは、その URL を最後にクロールしようとした日時、最初に問題が通知された日時、そのエラーの簡単な説明などを確認できます。


このウィンドウでは、エラーの原因になった URL のリンクをクリックすることで、実際にアクセスするとどうなるかを試すことができます。他にも、エラーに「修正済み」のマークを付けたり（後ほど詳しく説明します）、エラー タイプのヘルプ コンテンツを見たり、その URL を含むサイトマップを生成したり、その URL にリンクしている他のページを確認したりできます。また、Googlebot に今すぐ URL を取得させて、詳しい情報を入手したり、正しく修正できているかどうかを確認したりすることもできます。


エラーに対処する
新バージョンのクロール エラー機能で最も注目してほしいのが、重要なエラーに重点を置いて先に修正できる点です。エラーをランク付けして、対処が可能なエラーほど優先順位リストの上位に表示されるようにしました。対処可能なエラーとは、たとえばサイト内のリンク切れの修正、サーバー ソフトウェアのバグの修正、リンク切れの URL を除去するサイトマップの更新、ユーザーを実在するページに移動させる 301 リダイレクトなどです。ランク付けは、その URL がサイトマップに含まれているか、その URL へのサイト内またはサイト外からのリンクがいくつあるか、その URL への検索トラフィックが最近発生したかなど、さまざまな要因に基づいて行われます。

エラーの修正が完了したら、Googlebot にその URL を取得させることで、正しく修正できているかどうかを確認できます。フル アクセス権のあるユーザーであれば、エラーに「修正済み」のマークを付けることもできます。マークを付けると、そのエラーがリストから削除されます。修正済みのマークを付けたエラーは、URL を再クロールして同じエラーが発生しない限り、再びエラー リストの上位に表示されることはありません。


新しいクロール エラー機能にはさまざまな工夫を凝らしてあります。皆様に「これは便利」と感じていただけることを願っております。この記事に関するコメントやご意見・ご感想は、ウェブマスター ヘルプフォーラム までお寄せください。

Written by Kurt Dresner, Webmaster Tools team
Original version: Crawl Errors: The Next Generation

株式会社トライステージは、平成25年2月期3月度月次売上高を発表した。3月の売上高は、25億3,100万円。前年同月（27億4,700万円）よりも7.9％減とな…

株式会社サイバーエージェントは4月16日、スマートフォン向けのサービスを大幅に拡充すると公表した。 2012年7月末までに、コミュニティサービスや、エンターテ…

株式会社パルディアは、WEB上では告知されていない店頭のキャンペーン情報を中心とした懸賞情報サービス「パルなび」を4月17日より開始する。パルなび上でキャンペー…

今日、Facebookの記事を多く配信したのですが、タイムリーにも？FacebookがInstagramを買収したというニュースが飛び込んできたので紹介します。 — SEO Japan めちゃくちゃ人気の写真 … 続きを読む →

Facebookによる強制タイムライン適用が実施され、内容チェックからカバー画像作成まで時間に追われていた個人・企業も多かったでしょう。さて今回はタイムライン化も落ち着いた所で（まだまだ？）、Facebookタイムライン … 続きを読む →

Googleのマット・カッツ氏が次の3つの質問に回答した。1.ウェブスパムに対してGoogleは手動で対応することがあるか、2.手動対応はインデックス削除かそれとも順位を下げるときもあるのか、3.Googleが検索結果からコンテンツを削除する状況が他にもあるか

- SEOスパムに対してGoogleは手動でペナルティを与えるのか？ -

Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM

パナソニックがグローバルキャンペーン「ECLIPSE LIVE FROM FUJIYAMA by SOLAR POWER」を公開。様々な人達の力を結集し、「金...

サイバー・コミュニケーションズがイー・ガーディアンと提携して、ソーシャルメディア領域に特化した共同専門チームを発足。

太陽光で発電したエネルギーだけを利用して、金環日食を富士山頂から生中継するというプロジェクト。
------------------------------
ECLIPSE LIVE FROM FUJIYAMA by SOLAR POWER
http://panasonic.net/eclipselive/
------------------------------
現在ボランティアスタッフを募集中。応募したいが、富士山に登れる自信がない。

太陽企画がウェブサイトを刷新。任意のキーワードで検索すると該当するコンテンツが表示されるインターフェイス。「STAFF」ページでは社員とリアルタイムにチャットができる。隠しコンテンツもあり。
------------------------------
太陽企画
http://www.taiyokikaku.com/
------------------------------

TruSignalのブログでビュースルーのアトリビューションについて扱っています... 有園雄一 http://www.attribution.jp/

　 　こんにちは！アウンコンサルティングの上原です。 　 　今週のテーマは海外マ...

いよいよIPOを間近に控えたFacebook、今回はThe Next Webが今年のFacebookの動向について年初に予想した記事を改めて紹介します。もちろんどれも現在進行形で進んでいるものばかり。IPOの行方も気にな … 続きを読む →