検索エンジンがWebページの検索用のデータベースを作るために使う、インターネット上を巡回してWebページの情報を収集するプログラムのこと。
「検索ロボット」「クローラー」「スパイダー」と呼ばれる場合もある。
収集された情報は、検索エンジンのデータベースにインデックスされ、検索が要求された場合はデータベースの情報が検索結果ページとして表示される。そのため、各検索エンジンのロボットは定期的に巡回している。
metaタグやrobots.txtを利用して、検索ロボットのアクセスを制御したり、拒否することもできる。
用語「ロボット」が使われている記事の一覧
全 686 記事中 1 ～ 50 を表示中
（同義語
「スパイダー」
を含む）
