コメント投稿

ロボット

よろしければこちらもご覧ください

検索エンジンがWebページの検索用のデータベースを作るために使う、インターネット上を巡回してWebページの情報を収集するプログラムのこと。

「検索ロボット」「クローラー」「スパイダー」と呼ばれる場合もある。

収集された情報は、検索エンジンのデータベースにインデックスされ、検索が要求された場合はデータベースの情報が検索結果ページとして表示される。そのため、各検索エンジンのロボットは定期的に巡回している。

metaタグやrobots.txtを利用して、検索ロボットのアクセスを制御したり、拒否することもできる。

000
000
-->
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

Web業界の転職情報

もっと見る
Sponsored by

人気記事トップ10(過去7日間)

今日の用語

AOSSL
「Always on SSL(常時SSL)」の略。 基本的にサイトは非HT ...→用語集へ

連載/特集コーナーから探す

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]

[GOLD SPONSOR]
株式会社日本レジストリサービスオープンテキスト株式会社株式会社ブレインパッド株式会社サイバーエージェント株式会社フレームワークスソフトウェア
[SPONSOR]
株式会社キノトロープ株式会社アイレップユーザーグラム富士通株式会社Sitecore株式会社ミツエーリンクス株式会社電通デジタル