クローラー とは 意味/解説/説明 【Crawler】

略語/フルスペル/訳語

Crawler

インターネット上にあるWebサイト上の文書や画像を定期的に巡回(クローリング)して複製、解析し、データベース化(インデックス)するためのプログラムのこと。Crawlは「這い回る」という意味。クローラと表記するものもある。同じ意味に、ロボット、ボット、スパイダー、などがある。

本来は、Webサイト上のデータを自動で収集、データベース化するプログラムを指したが、現在はほぼ、ロボット型検索エンジンの仕組みを指す言葉となっている。さらに言えば、代表的なクローラーであるGooglebotを指す場合が多い。

クローラーは以前にクローリングした際に複製したWebサイトのリストやサイトマップを元にクローリングを行い、Webサイト上のリンクを辿って移動する。クローラーが収集した情報はサーバに登録されて、インデックスされる。インデックスされた情報を元に、検索結果の表示順位(ランキング)が決められる。ランキングは検索エンジン独自のアルゴリズムによって決められる。

クローリングされやすく、インデックスされやすい形でWebサイトの情報を整理し、アルゴリズムを考慮してWebサイトを運用することをSEOという。

主なクローラーは以下の通り。

  • Googlebot(Google)
  • Bingbot(マイクロソフト/Bing)
  • WebCrawler(Infospace)
  • Baiduspider(バイドゥ)
  • Yetibot(NAVER)
     
この記事が役に立ったらシェア!

用語「クローラー」が使われている記事の一覧

全 238 記事中 1 ~ 25 を表示中

ページ

Moz - SEOとインバウンドマーケティングの実践情報

検索エンジンが順位を決める53の要因(39人のSEOプロが評価した重要度とコメント付き)

SEOで効く! 検索エンジンが順位を決定する57個の要因 日米SEOプロ60人のグーグル&ヤフー対応版

キーワード使用の要因 - グーグル&ヤフーのSEO 57要因 日米プロの重要度&コメント付き

Web担編集部2008/5/27 10:0028699
SEOで効く! 検索エンジンが順位を決定する57個の要因 日米SEOプロ60人のグーグル&ヤフー対応版

獲得リンク属性の要因 - グーグル&ヤフーのSEO 57要因 日米プロの重要度&コメント付き

Web担編集部2008/6/9 10:0012111
SEOで効く! 検索エンジンが順位を決定する57個の要因 日米SEOプロ60人のグーグル&ヤフー対応版

クロール/順位のマイナス要因 - グーグル&ヤフーのSEO 57要因 日米プロの重要度&コメント付き

Web担編集部2008/6/12 10:00027432
JADEのSEOプロフェッショナル相談室

広告でSEOが有利に!? プロの考えるオーガニック検索と広告の関係と連携戦略【2021年版】

「リスティング広告をだしても検索順位は上がらない」は今でも本当か? 広告専用LPをやめるとSEOにこんな効果がある!? SEOチームと広告チームの連携を2021年に検討すべき理由をプロが解説
海外&国内SEO情報ウォッチ

グーグルの内部的なミス? 一部サイトのインデックス消滅(すでに復旧)【SEO記事14本まとめ】

グーグルの内部的なミス(かトラブル)が原因で、一部のサイトがグーグル検索のインデックスから消えてしまう事故が起きていた
鈴木 謙一2019/4/12 7:0033316
単発記事

[対談]2017年のSEOはどうなる? 楽天市場のSEOマネージャー近谷氏とアイレップ吉野氏が語る3つのポイント

モバイル重視や評価アルゴリズム変更など、検索エンジン周辺は相変わらず変化が激しいが、はたして2017年のSEOはどうなるのか
海外&国内SEO情報ウォッチ

イマドキSEOの常識!? 検索結果のクリック→すぐ戻る行動はやっぱり順位に関係アリ?【SEO情報まとめ】

グーグルの検索結果ページでのクリックや、飛んだ先からすぐ検索結果に戻るユーザー行動は、検索ランキングに影響するのか?
鈴木 謙一6/3 7:0013638
PR

「モバイルファーストインデックス」の真実! MFI対応ノウハウとオウンドメディアにおけるユーザー体験最適化を徹底解説

根本的な見直しは必要なのか? SXOの方策とは?
海外&国内SEO情報ウォッチ

Webプッシュ通知、人気サイト以外では9割が拒否反応という無惨な統計データ【SEO情報まとめ】

Webサイトの約85%で、Webプッシュ通知を許可してもらえる率は10%以下。つまり、9割の人は拒否反応を示している
海外&国内SEO情報ウォッチ

コアウェブバイタル改善にはメリットしかない。離脱率24%減・トップニュース表示は魅力的【SEO情報まとめ】

今週もグーグルの「コア ウェブ バイタル」3指標についてさらに情報を。モバイル検索でのトップニュース枠掲載の条件になる予定と、この指標を真面目に改善していくと売上や利益といったビジネス指標にも効果があるという話題だ
鈴木 謙一2020/6/19 7:00263312
海外&国内SEO情報ウォッチ

手間なしUX改善! HTMLちょい修正で実現できる、かんたん画像lazy-load【SEO記事12本まとめ】

SEOでも重要なUX改善。JavaScriptナシでHTMLを少し修正するだけで画像を遅延読み込みできてページ表示を高速化できるようになった!
鈴木 謙一2019/9/6 7:00775734
海外&国内SEO情報ウォッチ

日本では75.1%の検索がスマホから、調査データにみる検索とSEOの今【SEO情報まとめ】

モバイル検索の重要性はわかっているつもりでも、「日本では75.1%の検索がスマホから」というデータを見るとどうだろうか。大規模データで「順位ごとのCTR」「リッチリザルト」「検索意図」などの軸から今の検索とSEOを考えてみよう
鈴木 謙一2021/3/19 7:00688816
今さら人に聞けないWebの仕組み

SEOの前に知っておくべき、検索エンジンの仕組みとは?

検索エンジンはどうやってWebサイトを見ているの? どうしたら検索エンジンにコンテンツを見つけてもらえるの? 仕組みを理解して、検索エンジンに見つけてもらいやすいWebサイトを目指そう!【第13回】
石井 研二(MILS)2021/4/21 7:001419428
海外&国内SEO情報ウォッチ

2018年のSEOで押さえておきたい! 22の基本知識と最新Google情報【SEO記事12本まとめ】

イマドキのSEOで押さえておきたい基本知識から最新グーグル情報までを22個まとめてお届けする。グーグルのゲイリー・イリェーシュ氏が語ったものだ
海外&国内SEO情報ウォッチ

Facebookも表示が早いWebページをニュースフィードで優先すると発表!【SEO記事12本まとめ】

Facebookのニュースフィードも、グーグルと同様に、ページ表示速度を勘案するアルゴリズムになっていく
鈴木 謙一2017/8/18 7:00765444
海外&国内SEO情報ウォッチ

デザインが悪く使いづらいサイトは、グーグルの評価が下がるんだって!?【SEO記事12本まとめ】

SEOに詳しい人なら「そんなことはない」と言うだろうが、グーグルのジョン・ミューラー氏によると、そうとも限らないようだ
鈴木 謙一2018/5/11 7:001506614
海外&国内SEO情報ウォッチ

2021年のグーグルSEO予測: CTR低下、ランキング要因、アップデートなど5項目【SEO情報まとめ】

2021年のグーグルSEOはどうなるのだろうか? サイラス・シェパード氏による5つの予測をお届けする。「SERPでのCTRは下がる」など、頭に入れておいて損はなさそうだ。
鈴木 謙一2021/1/22 7:00165417
Moz - SEOとインバウンドマーケティングの実践情報

「SEO」と「SPA/PWAによるUX向上」を両立させるハイブリッドレンダリングの基礎知識と実現手法

前編を読んで最新ウェブ技術の入り口に立ったら、次はUXやパフォーマンスを実現するSPAの基本と、SEOのためのハイブリッドレンダリングの基本を理解しよう
Moz - SEOとインバウンドマーケティングの実践情報

重複コンテンツが発生してしまう19の具体的なパターン - 重複コンテンツ対策完全ガイド #3

サイト構成、システム、ドメイン名、商品一覧ページなど、さまざまな側面から具体的に解説。
海外&国内SEO情報ウォッチ

【グーグル公式】AMPのインデックスについてぜひ知っておきたい10個のFAQ【SEO記事12本まとめ】

「インデックスにかかる時間は?」「検索順位に与える影響は?」「一部のページしかSERPに出ない」「link要素はどう指定する?」などAMPに関するFAQを紹介
鈴木 謙一2018/12/14 7:00647146
海外&国内SEO情報ウォッチ

Googlebotのユーザーエージェント名(UA名)が変わるよ!【SEO情報まとめ】

Googlebotのユーザーエージェント名が変わる。最新のChromeと同等のレンダリングに対応したことを反映しての変更だが、サイト側でこの影響がないか、念のために確認しておこう
鈴木 謙一2019/12/6 7:0038425
時代は「SEO」から「SXO」へ ~海外最新サーチ事情・市場予測

SXO実現のためのユーザビリティ観点で押さえておくべき3つのポイント

SXOにおいては、従来のSEOと異なる要素が重要視される。ユーザビリティでは3つのポイントが存在する
松野 亘(クロスフィニティ)2016/10/18 7:0024513357
海外&国内SEO情報ウォッチ

内部リンクが張られてないスマホ向けページ、MFIのクロールは大丈夫? などSEO記事まとめ10+2本

グーグルの長山氏が内部リンクとクロールの疑問に回答
鈴木 謙一2016/12/9 7:00479328
海外&国内SEO情報ウォッチ

なぜグーグルは低品質なまとめ記事を上位表示していたのか?【SEO記事12本まとめ】

グーグルの品質評価を「ラーメン」でわかりやすく解説

ページ

メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

Google爆弾
Googleに限らず、検索エンジンでネガティブな言葉を入力すると特定のホームペー ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]