Googleでインデックスを確実にブロックする方法 | CyberAgent SEO Information

http://www.mattcutts.com/blog/robots-txt-remove-url/ 　（英語）

マットカッツ氏が同ブログ内の動画で、

Googleのインデックスブロックについての話をしています。

簡単に要約すると、

・robot.txtで、クローラーをブロックすればクローラーはそのページをクロールすることはない

・ただし、他のサイト（ページ）からリンクされていればSERPsに掲出される可能性はある

・SERPsに出さないためには、noindexメタタグを使用するか、Google提供の削除ツールを使おう

という感じでしょうか？

（誤訳あれば教えてください！）

確実にインデックスをブロックするには、

metaタグ内にnoindexを設定するか、削除ツールを使うこととのことですが、

robot.txtとmetaタグを共存させると、

robot.txtでクロールがブロックされてしまうので、

metaタグも読めなくなり、

結局削除ツールを使うと言う結末になるのかな？と思います。

あと、この現象からURLのリスト化は実際にそのページにアクセスしたときに行われるのではなくて、<a>タグを拾っているということが分かると思います。

Googleが、いかにリンクというものを重視しているのか分かる現象かと思います。