検索エンジンがWebページの検索用のデータベースを作るために使う、インターネット上を巡回してWebページの情報を収集するプログラムのこと。

「検索ロボット」「クローラー」「スパイダー」と呼ばれる場合もある。

収集された情報は、検索エンジンのデータベースにインデックスされ、検索が要求された場合はデータベースの情報が検索結果ページとして表示される。そのため、各検索エンジンのロボットは定期的に巡回している。

metaタグやrobots.txtを利用して、検索ロボットのアクセスを制御したり、拒否することもできる。