SEOクイズ⇒ robots.txtがステータスコード200・4xx・5xxを返したらGooglebotはそれぞれどう動く？【SEO記事12本まとめ】

今週のピックアップ

SEOクイズ⇒ robots.txtがステータスコード200・4xx・5xxを返したらGooglebotはそれぞれどう動く？
全問正解できるかな？ （Kenichi Suzuki on ツイッター） 国内情報

illustration by つきのあめだま

Googlebotは、サイトのrobots.txtを読みに行ったときに、HTTPレスポンスコードによって挙動が変わる。つまり、問題なくクロール処理が行われる場合と、そうではない場合があるのだ。

robots.txtにGooglebotがアクセスした際に次のHTTPステータスコードが返ってきた場合、それぞれGooglebotはどんな挙動をするかご存じだろうか？

• 200番
• 400番台
• 500番台

回答は次のとおりだ。

200（問題なしを意味するコード）が返ってきた場合、Googlebotはもちろん正常にrobots.txtを処理する。ブロックされていないURLはクロールするし、ブロックされているURLはクロールしない。

400番台（クライアント側エラー意味するコード、たとえば404）が返ってきた場合、Googlebotは「クロール禁止のURLがない」と判断してサイト内の全URLをクロールする。410や403であっても同様だ。

500番台（サーバー側エラーを意味するコード）が返ってきた場合、Googlebotはクロールを完全に停止する。この状態が長く続くと検索結果から消えることもある。

さて、あなたはすべて正解できただろうか？

つまり、http://example.jp/robots.txtのような、標準的なrobots.txtのURLにアクセスしてみて500番台のエラーが返ってくる状況になっていたら要注意だ。あなたのサイトでは大丈夫だろうか？

詳細は、グーグルの技術ドキュメントで確認してほしい。

これは、イタリアのミラノで筆者が先週参加したSEOカンファレンスで出てきたトピックだ。知らないウェブ担当者もいるに違いないと閃いたので、このコラムで取り上げてみた。

グーグル検索SEO情報

グーグルが構造化データを強く推奨、理由は検索結果の特殊機能とページの理解促進
2018年は構造化データに注力したい （The SEM Post） 海外情報

米ラスベガスで開催されたPubconカンファレンスで、グーグルのゲイリー・イリェーシュ氏が構造化データの利用を強く薦めたたそうだ。次のようにコメントしたとのことである。

2018年に特に意識すべきことの1つが構造化データだ。これまでの「レシピ」や「商品」に加えて、「求人」のような新しい機能をもっと増やしていく。

構造化データのメリットで真っ先に思いつくのは、従来からあるレシピや商品などのリッチスニペットだ。しかしグーグルはそれ以外にも構造化データを利用したさまざまな新しい機能を提供している。たとえば、モバイル検索のトップニュースAMPカルーセルや画像検索のバッジもその1つだ。

構造化データをページに実装することのわかりやすいメリットとしては、グーグルの検索結果で強いビジュアル要素とともに表示され目立つことだ。これにより、クリック率の向上が見込める。

イリェーシュ氏によれば、2018年はさらに新しい機能の追加が期待できそうだ。

またイリェーシュ氏は、構造化データを実装する2つ目の意義として、次のようなコメントも残している。

検索結果における機能を提供する以上に構造化データが重要なのは、そのページが何について書かれているのかをグーグルがより適切に理解するのに役立つことだ。ページを適切に理解できれば、間接的に検索順位が上がることもありうる。

構造化データをマークアップしたからといって、それだけで評価が上がったりはしない。しかし構造化データは、単なる文章や画像で構成されているページに、検索エンジンが理解できる情報を追加できる。

たとえば、ページ内の文章に「160」という数字が書かれているとする。その数字が身長を表すのかレビュー数を表すのか価格を表すのか、人間ならば文脈から一目瞭然であっても、検索エンジンには判断するのが難しいことも多い。

そうした場合でも、構造化データで示していればグーグルは正しく理解できる。さらに言えば、それが「160円」なのか「160ドル」なのか「160ユーロ」なのかも、明確に示せる。

そのページにどんな情報が含まれているのかを検索エンジンが理解できれば、検索クエリとの関連性をより適切に評価してもらえる。結果的に、ランキングに好影響を与える可能性がある。

2018年からとは言わずに、今からでも、自分のサイトにはどんな構造化データがふさわしいかを研究してみるといい。

リンクを否認するのはどんなとき？ グーグルが解説
3つのパターンあり （Google Webmaster Central office-hours） 海外情報

グーグルのジョン・ミューラー氏が、リンク否認ツールの適切な使い方を説明した。3パターンある。

• 不自然なリンクに対する手動対策を受けて、問題となるリンクを削除したりnofollow化したりできない場合。

  これは、リンク否認ツールの本来の役割であり、正しい使い方だ。再審査リクエストの際には、リンクの判断に否認リクエストが考慮される。

  ただし、「問題のありそうなリンクは否認すればいい」とは考えないでほしい。あくまでも大前提は問題となるリンクの削除だ。どうやっても削除できないリンクだけを否認するようにしたい。いきなり否認しても手動対策は解除されない。

• 手動対策を受けているわけではないが、将来的に受けないように先に否認しておく。

  絶対にうまくいくとは限らないが、こういう使い方は可能だ。

• 自動的に無効化されるはずの粗悪なリンクを念のために否認しておく。

  グーグルは、粗悪なリンクを自動的に無効化している。しかし、グーグルを信用できないのならば、自主的に否認してもいい。

  ただし、そのリンクが良いリンクであったとしたら、価値があるリンクを自ら無効にしていることになってしまう。そうしたもったいない状況は避けたいところだ。

リンクの否認は手動対策の解除のための最後の手段として用いるのが基本だ。あとは、リンクによるネガティブSEO攻撃を受けているとどうしても疑わないときだろうか。だがグーグルはネガティブSEOが機能しないようにアルゴリズムを作っている。それを信じられなければ使うといい。

noscript タグをグーグルは無視する
かつてスパムに悪用されたため （John Mueller on Twitter） 海外情報

noscript タグは、JavaScript を実行できない状況（もともと実行できないシステムや、意図的に無効化しているブラウザなど）で、代替コンテンツを表示するために使うHTMLタグだ。

グーグルは、noscript タグ内のコンテンツを認識してはいるものの、評価対象としては無視する。

その大きな理由は、かつてスパムに使われた過去があるからだ。JavaScriptを実行したときはユーザーの画面には現れないが、Googlebotには見える、そんな隠しコンテンツとして悪用されていたのだ。

noscript タグを本来の目的で利用することはまったく問題ないが、もしあなたがSEO目的でnoscriptを使っているのならば、グーグルはそれを無視すること（つまり無意味だということ）は知っておくといい。

URL変更の際のmeta refresh タグをグーグルは推奨していない
リダイレクトが原則 （Google Webmasters on Twitter） 海外情報

サイトを移転してURLが変わったときに、転送手段として meta refresh タグを使う人がいる。しかし、グーグルウェブマスターのTwitterアカウントが「グーグルはmeta refreshでのリダイレクトを推奨しない」と明言している。

このことは、グーグルのヘルプ記事にも明記されている（編集部で見やすく改行を追加）。

<meta http-equiv="refresh" content="...;url=..." />

一定の時間が経過するとユーザーを新しい URL にリダイレクトします。

簡単な形式のリダイレクト機能として使用される場合もあります。ただし、一部のブラウザではサポートされないため、ユーザーを混乱させる可能性があります。W3C では、このタグを使用しないよう推奨しています（英語）。

Google では、サーバーサイドの 301 リダイレクトを使用することをおすすめしています。

最後に書かれているように、URLを変更したときは301リダイレクトが原則だ（現在は302リダイレクトでも問題ないが）。

301リダイレクトが使えないときは、rel="canonical" が次善の策となる（ただしユーザーは自動転送されない）。もしくは、JavaScriptを使ったリダイレクトもグーグルはきちんと処理してくれる。