海外&国内SEO情報ウォッチ

百度（バイドゥ）SEOの8つのTIPS など10記事（海外&国内SEO情報）

中国のデファクトスタンダード検索エンジン「百度（バイドゥ）」でどうSEOする？

鈴木謙一 2010/9/10 10:00 SEO | 解説／ノウハウ

3 59 80

海外のSEO/SEM情報を日本語でピックアップ

robots.txtはロボットのクロール制御に利用できるか？
（Google Webmaster Central Channel on YouTube）
Googlebotのクロールを最適化するためにrobots.txtを使ってもいいだろうか？たとえばサイトの一部のページを確実にクロールさせるようにそのページだけを許可して、残りのページはすべてブロックしておく。1週間くらいたったらまた元の通常のrobots.txtに戻すんだ。
robots.txtを動的に変更することで検索エンジンのクローラーをコントロールしようと目論んでいるウェブ担当者がこのような質問をした。グーグルのマット・カッツ氏は次のようにビデオで回答している。
ダメダメ、絶対にそんなことをやっちゃダメだ。Googlebotを追いやろうとして、そんなにコロコロrobots.txtを変えたら何かおかしなことになるかもしれない。
それにその目的を達成するにはもっといい方法がある。確実にクロールしてほしいページがあったとしたら、ルートページ（トップページ）からリンクを張った方がずっといい。「今週の特集ページはここにあるぞ」とグーグルに伝えるようにね。一般的にトップページにもっともリンクが集まるから、トップページのど真ん中から、クロールしてほしいページにリンクを張れば、他のページよりもPageRankがたくさん流れる。他のページはトップページから5本も6本もリンクを通過しないと辿りつかないかもしれない。
robots.txtを利用しようとするのは構わないけれどうまくいかないと思う。それどころか毎週robots.txtを変更するなんてマネをしたら墓穴を掘るかもしれない。それよりもサイトの構造を見なおしたほうがいい。注目してほしいページ、もっとPageRankが欲しいページ、クローリングしてほしいページはトップページから直接リンクするか、なるべくトップページに近いページからリンクするといい。そうすればGooglebotはそのページに訪れるようになる。
ちなみに、以前にもお伝えしたが、グーグルは基本的にrobots.txtを1日に1回程度しか確認しないので、時間帯によってrobots.txtの内容を変更するという方法も意味がない（大量の情報をクロールする際には改めてダウンロードする場合もあるという情報もある）。
noindex meta タグと4xx/5xxエラーは同じではない
（John Mueller(JohnMu) on Twitter）
英語版のグーグルウェブマスターセントラル公式ヘルプフォーラムで一般ユーザーのサポートに尽力しているグーグル社員のジョン・ミューラー氏のツイートを紹介する。
meta robots タグのnoindexを使うのと、サーバーが4xx/5xxエラーを返すのは同じではない。
noindex meta タグを使う場合は、（正常にアクセスできるなら）サーバーはHTTPステータスコード200を返し、検索エンジンのロボットはそのページにアクセスして通常はクロールする。しかし検索結果には表示しない。
一方、400・500番台のHTTPステータスコードをサーバーが返した場合は、検索エンジンのロボットはクロールもインデックスもしない。たとえば、404はページが存在しないことを示すのでそもそもクロールできないしインデックスは不可能だ。503はサーバーが一時的にダウンしていることを示し、検索エンジンはインデックス状態を変更せず、しばらくした後また訪問する。
米ヤフーは、独自のアルゴリズムをBingに追加するかも
（WebProNews）
米国で著名なSEOエキスパートのブルース・クレイ氏は、ヤフーがBingに移行したあともヤフー検索のAPIがBingではなくヤフーの検索結果を返していることを不思議に思い、ヤフーAPIチームに問い合わせた。すると、Bingのインデックス情報に多少違ったアルゴリズムを適用する意図があるためだと回答が返ってきたそうだ。
このことは、ヤフーの検索結果がBingとはいくらか違ったものになる可能性があること意味しているとクレイ氏は述べている。日本の多くのウェブ担当者には直接影響のない話だとはいえ、さて日本のヤフーはどうなることであろうか。
マイクロソフトのクローラがMSNbotからBingbotへ
（Bng Community Blog）
マイクロソフトは、自社が運用する検索エンジンのクローラのユーザーエージェント名を従来の「MSNbot」から新しい「Bingbot」へ10月1日から変更することを再通知した。サーバーのログには次のようにユーザーエージェントが記録される。
```
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)
```
HTTPヘッダーのFromフィールド^※には次のように現れる。
```
From: bingbot(at)microsoft.com
```
※そのHTTPアクセスをしている人の連絡先メールアドレス
10月1日以降まもなくMSNbotは役目を終えるとのことだ。
BingbotはMSNbotを対象に記述したrobots.txtやmetaタグの命令にも従い、BingbotとMSNbotのそれぞれを対象にした記述がある場合は、Bingbotに対する記述を優先する。またユーザーエージェント名が変わるので、.htaccessなどでユーザーエージェント名をもとにアクセスをコントロールしている場合は修正が必要だ。
MSNbotで記述したアクセス制御を利用しているサイトでは修正箇所がないかチェックしておこう。