国内&海外SEO情報ウォッチ 「海外SEO情報ブログ」の鈴木 謙一氏が、日本と海外の検索マーケティング情報をさらっとまとめて毎週金曜日にお届け。
海外&国内SEO情報ウォッチ

SEO Japanの掲載記事からピックアップ

ページ

海外のSEO/SEM情報を日本語でピックアップ

  • robots.txtはロボットのクロール制御に利用できるか?
    (Google Webmaster Central Channel on YouTube)
    Googlebotのクロールを最適化するためにrobots.txtを使ってもいいだろうか? たとえばサイトの一部のページを確実にクロールさせるようにそのページだけを許可して、残りのページはすべてブロックしておく。1週間くらいたったらまた元の通常のrobots.txtに戻すんだ。

    robots.txtを動的に変更することで検索エンジンのクローラーをコントロールしようと目論んでいるウェブ担当者がこのような質問をした。グーグルのマット・カッツ氏は次のようにビデオで回答している。

    ダメダメ、絶対にそんなことをやっちゃダメだ。Googlebotを追いやろうとして、そんなにコロコロrobots.txtを変えたら何かおかしなことになるかもしれない。

    それにその目的を達成するにはもっといい方法がある。確実にクロールしてほしいページがあったとしたら、ルートページ(トップページ)からリンクを張った方がずっといい。「今週の特集ページはここにあるぞ」とグーグルに伝えるようにね。一般的にトップページにもっともリンクが集まるから、トップページのど真ん中から、クロールしてほしいページにリンクを張れば、他のページよりもPageRankがたくさん流れる。他のページはトップページから5本も6本もリンクを通過しないと辿りつかないかもしれない。

    robots.txtを利用しようとするのは構わないけれどうまくいかないと思う。それどころか毎週robots.txtを変更するなんてマネをしたら墓穴を掘るかもしれない。それよりもサイトの構造を見なおしたほうがいい。注目してほしいページ、もっとPageRankが欲しいページ、クローリングしてほしいページはトップページから直接リンクするか、なるべくトップページに近いページからリンクするといい。そうすればGooglebotはそのページに訪れるようになる。

    ちなみに、以前にもお伝えしたが、グーグルは基本的にrobots.txtを1日に1回程度しか確認しないので、時間帯によってrobots.txtの内容を変更するという方法も意味がない(大量の情報をクロールする際には改めてダウンロードする場合もあるという情報もある)。

  • noindex meta タグと4xx/5xxエラーは同じではない
    (John Mueller(JohnMu) on Twitter)

    英語版のグーグルウェブマスターセントラル公式ヘルプフォーラムで一般ユーザーのサポートに尽力しているグーグル社員のジョン・ミューラー氏のツイートを紹介する。

    meta robots タグのnoindexを使うのと、サーバーが4xx/5xxエラーを返すのは同じではない。

    noindex meta タグを使う場合は、(正常にアクセスできるなら)サーバーはHTTPステータスコード200を返し、検索エンジンのロボットはそのページにアクセスして通常はクロールする。しかし検索結果には表示しない。

    一方、400・500番台のHTTPステータスコードをサーバーが返した場合は、検索エンジンのロボットはクロールもインデックスもしない。たとえば、404はページが存在しないことを示すのでそもそもクロールできないしインデックスは不可能だ。503はサーバーが一時的にダウンしていることを示し、検索エンジンはインデックス状態を変更せず、しばらくした後また訪問する。

  • 米ヤフーは、独自のアルゴリズムをBingに追加するかも
    (WebProNews)

    米国で著名なSEOエキスパートのブルース・クレイ氏は、ヤフーがBingに移行したあともヤフー検索のAPIがBingではなくヤフーの検索結果を返していることを不思議に思い、ヤフーAPIチームに問い合わせた。すると、Bingのインデックス情報に多少違ったアルゴリズムを適用する意図があるためだと回答が返ってきたそうだ。

    このことは、ヤフーの検索結果がBingとはいくらか違ったものになる可能性があること意味しているとクレイ氏は述べている。日本の多くのウェブ担当者には直接影響のない話だとはいえ、さて日本のヤフーはどうなることであろうか。

  • マイクロソフトのクローラがMSNbotからBingbotへ
    (Bng Community Blog)

    マイクロソフトは、自社が運用する検索エンジンのクローラのユーザーエージェント名を従来の「MSNbot」から新しい「Bingbot」へ10月1日から変更することを再通知した。サーバーのログには次のようにユーザーエージェントが記録される。

    Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

    HTTPヘッダーのFromフィールドには次のように現れる。

    From: bingbot(at)microsoft.com
    ※そのHTTPアクセスをしている人の連絡先メールアドレス

    10月1日以降まもなくMSNbotは役目を終えるとのことだ。

    BingbotはMSNbotを対象に記述したrobots.txtやmetaタグの命令にも従い、BingbotとMSNbotのそれぞれを対象にした記述がある場合は、Bingbotに対する記述を優先する。またユーザーエージェント名が変わるので、.htaccessなどでユーザーエージェント名をもとにアクセスをコントロールしている場合は修正が必要だ。

    MSNbotで記述したアクセス制御を利用しているサイトでは修正箇所がないかチェックしておこう。

SEO JapanSEO Japanの掲載記事からピックアップ

今週は、SEO Japanからのピックアップはお休みです。

ページ

この記事が役に立ったらシェア!
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く

Web業界の転職情報

もっと見る
Sponsored by

人気記事トップ10(過去7日間)

今日の用語

アクセス権
ファイル、ディレクトリ、Webページ、プログラムなどに対して、読み出し/書き込み ...→用語集へ

連載/特集コーナーから探す

インフォメーション

Web担のメルマガを購読しませんか?
Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。

Web担に広告を掲載しませんか?
購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。

サイトマップ
RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]