クローラー とは 意味/解説/説明 【Crawler】

インターネット上にあるWebサイト上の文書や画像を定期的に巡回（クローリング）して複製、解析し、データベース化（インデックス）するためのプログラムのこと。Crawlは「這い回る」という意味。クローラと表記するものもある。同じ意味に、ロボット、ボット、スパイダー、などがある。

本来は、Webサイト上のデータを自動で収集、データベース化するプログラムを指したが、現在はほぼ、ロボット型検索エンジンの仕組みを指す言葉となっている。さらに言えば、代表的なクローラーであるGooglebotを指す場合が多い。

クローラーは以前にクローリングした際に複製したWebサイトのリストやサイトマップを元にクローリングを行い、Webサイト上のリンクを辿って移動する。クローラーが収集した情報はサーバに登録されて、インデックスされる。インデックスされた情報を元に、検索結果の表示順位（ランキング）が決められる。ランキングは検索エンジン独自のアルゴリズムによって決められる。

クローリングされやすく、インデックスされやすい形でWebサイトの情報を整理し、アルゴリズムを考慮してWebサイトを運用することをSEOという。

主なクローラーは以下の通り。

• Googlebot（Google）
• Bingbot（マイクロソフト／Bing）
• WebCrawler（Infospace）
• Baiduspider（バイドゥ）
• Yetibot（NAVER）