
このページは、外部サイト
Google ウェブマスター向け公式ブログ の情報をRSSフィード経由で取得して表示しているため、記事の一部分しか表示されていなかったり、画像などが正しく表示されなかったり、オリジナル記事が意図したデザインと異なっていたりする場合があります。
完全な状態のオリジナル記事は 「
クローラとインデックスの制御について詳しい資料を code.google.com で公開しました!」 からご覧ください。
今回は英語の資料となりますが、非常に有益なものですのでご紹介させていただきます。
Google のクローラ(Googlebot)と インデックス登録の制御に関する詳細な情報が code.google.com でご覧いただけるようになりました。
例えば
- robots.txt ファイル内に矛盾した記述がある場合に、Googlebot はどのように処理するのでしょうか?
- PDF ファイルがインデックスに登録されるのを防ぐ方法はどうすればいいのでしょうか?
その疑問の答えは、こちらからご覧ください。
Controlling crawling and indexing (英語)

このサイトでは、robots.txt ファイル、robots メタ タグ、HTTP ヘッダーの X-Robots-Tag ディレクティブ について、サイト所有者の皆さまに役立つ情報がまとめられています。ぜひ、ご活用いただければと思います。また、クローラの働きやインデックスの作成など Google がどのように検索結果を生成しているかについての基礎的な情報は、ヘルプ記事「
Google の基本」をご覧ください。
ご不明な点がありましたら、お気軽に
ウェブマスター ヘルプ フォーラム までご投稿ください。
Posted by Jonathan Simon, Webmaster Trends Analyst
Original version:
Controlling crawling and indexing now documented on code.google.com