クローキングやIPデリバリーを正当な目的で利用する場合だってあるんだ

クローキングはSEO業界における基本要素だけど、僕らの多くは、クローキングの使用について、スパミングや検索エンジンに対するいかさまと同様に、「明らかにNGなブラックハット的行為」だと考えているんじゃないかな。でも実際には、まったく正当な目的のためにクローキングが使われている場合もあるんだよ。そういう例を挙げてみよう。

• ニューヨークタイムズ、ウォールストリートジャーナル、Salon.comなどのサイトでは、検索エンジンのロボットに対して人間の訪問者と異なるコンテンツを示すことがよくある。コンテンツを隠してしまうポップアップ広告やドロップダウン広告は、ユーザーエージェント名を「googlebot」に変更するだけで、わずらわされずに済むことが多いよ。

• 301リダイレクトを行うとき、検索エンジンには404エラーページを見せておいて、人間の訪問者だけを他のページに送り込みたいというケースがあるかもしれない。人間の訪問者は適切なリソースへと案内したいけれど、そのクエリによる検索トラフィックはもういらないとか、転送先のページにはリンク価値を渡したくないとかいう場合だ。

• 検索エンジンは、アンケートや登録フォームの処理があまり得意じゃないから、フォーム入力を飛ばしたほうがいい場合も多い。人間の訪問者たちにも入力をスキップできるような選択肢がある場合は、特にそうしておくのがいい。

• 自分のサイトで多変量解析やA/Bテストを実施している場合、本当は静的URLなのに訪れるたびにコンテンツが変わるようなページになる。この場合、検索エンジンに対しては、内容を固定したページだけを見せておくのが賢明だ。テスト完了後に該当ページを変更すれば、検索エンジンと訪問者の両方が同じコンテンツを見らられるようになる。

• あるURLに移動するために訪問者がページ上でどのリンクをクリックしているのかを判定する専用のトラッキングシステムを採用していると、ごちゃごちゃしたURLやJavaScriptの実行が必要になるかもしれない。そうなると、検索エンジンのランキングやクローリングに大きな影響を与える可能性があるよね。ここでクローキングを使用すれば、欲しいデータを獲得しつつ（しかも、検索ロボットなどが訪問した際の不要なデータは排除できる）、検索エンジンと訪問者の両方に同一の体験をもたらすことができる。

こういったことを行うための最善の方法はなんだろう？

はっきり言おう。その答えは「IPデリバリー」だ。この言葉も、普通はブラックハット的な手法を指すものだと思われているね。一般的に言って、検索ロボットのIPアドレスを識別したうえで異なるコンテンツを表示するというのは、クローリングがらみの厄介な問題を回避するための、最も効果的で問題のない方法なんだ。

検索エンジンのロボットが使うIPアドレスのリストを入手できる情報源はたくさんあるけど、たいていの場合は、自分のログファイルか自分が利用しているホスティングサービス（多くがこうしたデータを販売している）のログファイルがいいね。もし適切なIPアドレスブロックすべてを把握しきれていないんじゃないかと心配な場合は、専門家に問い合わせてみるのも悪いアイデアではない。実は僕らも必要な場合はそうしたことがあるんだ。

僕らのような「ホワイトハット」（SEOmozのスタッフは、大概そう思われている）がこんなアドバイスをするなんて奇妙に思えるかもしれないが、驚くべきことではない。あるプロジェクトを適切かつ効果的に行うための唯一の方法がクローキングだと認識したとき、僕自身がショックを受けたのを憶えているが、実際のところクローキングで重要なのは、やり方よりも目的なんだよね。検索エンジンと訪問者に異なるデータを表示しても、ベイト・アンド・スイッチ（おとり商法、コードスワッピング）を行ったり、ユーザーや検索者の体験を損なったりしているのでなければ、悪いことじゃない。

用語の持つネガティブなイメージに囚われることをやめれば、検索マーケティング用ツールの手持ちがどれほど豊かになることか、その点を心得ておくのが賢明だ。

IPデリバリやクローキングに関して、みんなはどう考えているのかな？