海外&国内SEO情報ウォッチ

グーグルのインデックスを拒否するにはどうしたらいいのか？

この記事の目次：

海外のSEO/SEM情報を日本語でピックアップ

グーグルのインデックスを拒否するにはどうしたらいいのか？
★★★★☆ 状況と目的に応じて適切な仕組みを（Google Webmaster Help Forum）

運用サイトのページがインデックスされることを防ぎたいというサイト管理者に、グーグルのジョン・ミューラー氏が公式ヘルプフォーラムで次のようにアドバイスした。

状況にもよる。
何か試しているような場合でコンテンツをインデックスさせたくないのであれば、robots.txtの利用が適している。あるいはほんの一時的であれば、503のHTTPステータスコードを返してもいいかもしれない。
自ら進んで検索結果からページを削除したいならrobots.txtよりもnoindex robots meta タグを使うことを確実に推奨する。
検証用のサーバーを使っていてそのサイトをインデックスさせたくないのであれば、IPアドレスの範囲やサーバー側のユーザー認証でアクセス制限するのが好ましい方法だろう。

検索エンジンのクロールやインデックスを拒否する手段はいくつもある。自分が成し遂げたいことを明確にし、それぞれの仕組みの特徴を十分に理解したうえで、どれがふわしいかを選択しなければならない。さもないと意図しない結果になることがある。

URLパラメータの種類と数は必要最小限にとどめる
★★★★☆ 一方で404は気にしなくていい（Google Webmaster Help Forum）

クロール時に404エラーが大量に出ているとグーグルウェブマスターツールで表示されたサイトの管理者に対して、グーグルのジョン・ミューラー氏が次のようにコメントした。

サイトを見てみたが、サイト内検索ページで、非常に多くのパラメータやファセットが使われているようだ。
検索で使うURLのパラメータを最小限にすれば、同じ内容なのにURLが違うページを減らせて、コンテンツをすばやくクロールしやすくなる。結果として、私たちが古いページの情報（そこから古いページにリンクしている）を保っておく必要がなくなる。
とは言うものの、これは、変化を早く認識できるようにするために、グーグルが効率的にクロールすればいい話だ。
現状のままでも、404ページに関するクロールエラーはウェブマスターツール上に表示されるが、まったく問題ない。
クロール時に404エラーになるURLがあったとしても、それがサイトの他のページを不利な状況にすることはない。サイトで404ページが出るURLがあるのは、いたって普通のことだ。
ファセットナビゲーションの改善についてもう少し詳しく知りたければ、公式ブログ記事を読むといい。
http://googlewebmastercentral-ja.blogspot.jp/2014/03/faceted-navigation-best-and-5-of-worst.html

参照先URLは日本語訳ページに変えてある

重要なポイントは、次の2つだ。

URLパラメータの種類が多く重複コンテンツとなるURLが大量にあると、クロール効率が低下するかもしれない。そのため、パラメータの使用は必要最小限にとどめる。
404エラーが発生することでマイナスな影響が出ることはない。

301リダイレクトしているのに古いURLと新しいURLの両方が表示されることはありうるか？
★★★★☆ ありうるが問題ない（John Mueller on Twitter）

グーグルのジョン・ミューラー氏がツイッターでフォロワーから次のような質問を尋ねられた。

新しいURLに301リダイレクトしていたとしても、古いURLと新しいURLの両方が検索結果に表示されることはありますか？

ミューラー氏は次のように答えた。

もちろんありうる。たとえば、明示的に古いURLを検索すれば、私たちはそれを表示しようとする。

@TrivediRahul @rustybrick @randfish Sure, that can happen; if you explicitly search for the old URL, we'll try to show it to you.
— John Mueller (@JohnMu) 2015, 4月 7