クローラー とは 意味/解説/説明 【Crawler】

略語/フルスペル/訳語

Crawler

インターネット上にあるWebサイト上の文書や画像を定期的に巡回(クローリング)して複製、解析し、データベース化(インデックス)するためのプログラムのこと。Crawlは「這い回る」という意味。クローラと表記するものもある。同じ意味に、ロボット、ボット、スパイダー、などがある。

本来は、Webサイト上のデータを自動で収集、データベース化するプログラムを指したが、現在はほぼ、ロボット型検索エンジンの仕組みを指す言葉となっている。さらに言えば、代表的なクローラーであるGooglebotを指す場合が多い。

クローラーは以前にクローリングした際に複製したWebサイトのリストやサイトマップを元にクローリングを行い、Webサイト上のリンクを辿って移動する。クローラーが収集した情報はサーバに登録されて、インデックスされる。インデックスされた情報を元に、検索結果の表示順位(ランキング)が決められる。ランキングは検索エンジン独自のアルゴリズムによって決められる。

クローリングされやすく、インデックスされやすい形でWebサイトの情報を整理し、アルゴリズムを考慮してWebサイトを運用することをSEOという。

主なクローラーは以下の通り。

  • Googlebot(Google)
  • Bingbot(マイクロソフト/Bing)
  • WebCrawler(Infospace)
  • Baiduspider(バイドゥ)
  • Yetibot(NAVER)
     
この記事が役に立ったらシェア!

用語「クローラー」が使われている記事の一覧

全 188 記事中 1 ~ 25 を表示中

ページ

Moz - SEOとインバウンドマーケティングの実践情報

検索エンジンが順位を決める53の要因(39人のSEOプロが評価した重要度とコメント付き)

SEOで効く! 検索エンジンが順位を決定する57個の要因 日米SEOプロ60人のグーグル&ヤフー対応版

キーワード使用の要因 - グーグル&ヤフーのSEO 57要因 日米プロの重要度&コメント付き

Web担編集部2008/5/27 10:0028696
SEOで効く! 検索エンジンが順位を決定する57個の要因 日米SEOプロ60人のグーグル&ヤフー対応版

獲得リンク属性の要因 - グーグル&ヤフーのSEO 57要因 日米プロの重要度&コメント付き

Web担編集部2008/6/9 10:0012111
SEOで効く! 検索エンジンが順位を決定する57個の要因 日米SEOプロ60人のグーグル&ヤフー対応版

クロール/順位のマイナス要因 - グーグル&ヤフーのSEO 57要因 日米プロの重要度&コメント付き

Web担編集部2008/6/12 10:00027431
JADEのSEOプロフェッショナル相談室

リスティングがSEOに影響? 自然検索と広告の連携戦略をプロが解説

SEOとリスティング広告は別と考え、バラバラに対応しがち。しかしプロは、「ユーザー体験を考えると連携する価値はあるはず」と判断しています。なぜならオーガニック検索を増やすためにtitleタグを改善したところ、動的検索広告の成果も上がったケースがあるからです。そうしたSEOと広告の影響を、Googleの動きから専門家が考察します。
株式会社JADE2021/3/12 7:00476317188
海外&国内SEO情報ウォッチ

Google公式「Web表示パフォーマンス改善塾」スタート(テストもあるよ)【SEO情報まとめ】

UXのためにも、コアウェブバイタルのためにも、Webページの表示パフォーマンスは重要だ。グーグルが公開したWeb表示パフォーマンス改善の実践的スキルを学べるオンラインコースで基本から学んで実践してみるのはどうだろうか?
鈴木 謙一[執筆]2023/11/17 7:0010157
海外&国内SEO情報ウォッチ

グーグルの内部的なミス? 一部サイトのインデックス消滅(すでに復旧)【SEO記事14本まとめ】

グーグルの内部的なミス(かトラブル)が原因で、一部のサイトがグーグル検索のインデックスから消えてしまう事故が起きていた
鈴木 謙一2019/4/12 7:0033316
海外&国内SEO情報ウォッチ

Googleレンダリングの都市伝説: JavaScript SEOの誤解と対策【SEO情報まとめ】

現在のGoogleは、JavaScriptやCSSも含めてレンダリングしたうえでインデックスしている。この処理に関する誤解(都市伝説)を、調査データと分析でVercelが検証している
鈴木 謙一[執筆]8/9 7:004145

[対談]2017年のSEOはどうなる? 楽天市場のSEOマネージャー近谷氏とアイレップ吉野氏が語る3つのポイント

モバイル重視や評価アルゴリズム変更など、検索エンジン周辺は相変わらず変化が激しいが、はたして2017年のSEOはどうなるのか
柏木恵子2017/3/7 7:006601714336
海外&国内SEO情報ウォッチ

ブログ下部の関連記事、回遊/内部リンク/トラフィックに思ったより効果あるらしい【SEO情報まとめ】

ブログ記事の下にだす「関連記事」、UXやSEOの観点で効果はどうなのか。Ahrefsの調査によると、内部リンクやトラフィックという観点で思ったより効果がありそうだ。
鈴木 謙一[執筆]4/19 7:00115717
海外&国内SEO情報ウォッチ

イマドキSEOの常識!? 検索結果のクリック→すぐ戻る行動はやっぱり順位に関係アリ?【SEO情報まとめ】

グーグルの検索結果ページでのクリックや、飛んだ先からすぐ検索結果に戻るユーザー行動は、検索ランキングに影響するのか?
鈴木 謙一2022/6/3 7:0013667

「モバイルファーストインデックス」の真実! MFI対応ノウハウとオウンドメディアにおけるユーザー体験最適化を徹底解説

根本的な見直しは必要なのか? SXOの方策とは?
井口 裕右2017/3/15 7:00205116126Sponsored
海外&国内SEO情報ウォッチ

グーグルSGEが改名して正式版に。新名称は「AI Overview」(ただし問題アリ)【SEO情報まとめ】

グーグルのSGE(生成AIによる検索体験)が、試験公開ではなく一般公開となった。つまり正式版としてスタートしたのだ(ただし、米国の英語検索のみ)
鈴木 謙一[執筆]5/31 7:005325
海外&国内SEO情報ウォッチ

Webプッシュ通知、人気サイト以外では9割が拒否反応という無惨な統計データ【SEO情報まとめ】

Webサイトの約85%で、Webプッシュ通知を許可してもらえる率は10%以下。つまり、9割の人は拒否反応を示している
鈴木 謙一2020/2/28 7:0013012625
海外&国内SEO情報ウォッチ

コアウェブバイタル改善にはメリットしかない。離脱率24%減・トップニュース表示は魅力的【SEO情報まとめ】

今週もグーグルの「コア ウェブ バイタル」3指標についてさらに情報を。モバイル検索でのトップニュース枠掲載の条件になる予定と、この指標を真面目に改善していくと売上や利益といったビジネス指標にも効果があるという話題だ
鈴木 謙一2020/6/19 7:00263311
海外&国内SEO情報ウォッチ

手間なしUX改善! HTMLちょい修正で実現できる、かんたん画像lazy-load【SEO記事12本まとめ】

SEOでも重要なUX改善。JavaScriptナシでHTMLを少し修正するだけで画像を遅延読み込みできてページ表示を高速化できるようになった!
鈴木 謙一2019/9/6 7:00775734
海外&国内SEO情報ウォッチ

日本では75.1%の検索がスマホから、調査データにみる検索とSEOの今【SEO情報まとめ】

モバイル検索の重要性はわかっているつもりでも、「日本では75.1%の検索がスマホから」というデータを見るとどうだろうか。大規模データで「順位ごとのCTR」「リッチリザルト」「検索意図」などの軸から今の検索とSEOを考えてみよう
鈴木 謙一2021/3/19 7:00689017
今さら人に聞けないWebの仕組み

検索エンジンの仕組み|ロボット型とディレクトリ型の特徴を比較【図解】

Googleだけでなく、Yahoo!やBingなどの検索エンジンの仕組みについて説明します。これらはロボット型とディレクトリ型という2つのタイプがあり、それぞれ情報収集の方法と分類の仕方が異なります。しかし、どちらも収集した情報をデータベースに登録し、絞り込んだ結果を表示するという共通の機能を持っています。さらに、検索エンジンを考慮した効果的なSEOとサイト作成方法についても解説します。
石井 研二(MILS)2021/4/21 7:001639828
海外&国内SEO情報ウォッチ

2018年のSEOで押さえておきたい! 22の基本知識と最新Google情報【SEO記事12本まとめ】

イマドキのSEOで押さえておきたい基本知識から最新グーグル情報までを22個まとめてお届けする。グーグルのゲイリー・イリェーシュ氏が語ったものだ
鈴木 謙一2018/10/26 7:0016211054
海外&国内SEO情報ウォッチ

Facebookも表示が早いWebページをニュースフィードで優先すると発表!【SEO記事12本まとめ】

Facebookのニュースフィードも、グーグルと同様に、ページ表示速度を勘案するアルゴリズムになっていく
鈴木 謙一2017/8/18 7:00765444
海外&国内SEO情報ウォッチ

デザインが悪く使いづらいサイトは、グーグルの評価が下がるんだって!?【SEO記事12本まとめ】

SEOに詳しい人なら「そんなことはない」と言うだろうが、グーグルのジョン・ミューラー氏によると、そうとも限らないようだ
鈴木 謙一2018/5/11 7:001506614
海外&国内SEO情報ウォッチ

グーグル検索のトップが交代、新トップは収益増加よりもUX改善を優先?【SEO情報まとめ】

Google検索の責任者が交代すると発表された。もしかしたら、これでGoogle検索の方向性が少し変わり、SEOにも影響があるかもしれない
鈴木 謙一[執筆]10/25 7:0013414
海外&国内SEO情報ウォッチ

2021年のグーグルSEO予測: CTR低下、ランキング要因、アップデートなど5項目【SEO情報まとめ】

2021年のグーグルSEOはどうなるのだろうか? サイラス・シェパード氏による5つの予測をお届けする。「SERPでのCTRは下がる」など、頭に入れておいて損はなさそうだ。
鈴木 謙一2021/1/22 7:00165417
Moz - SEOとインバウンドマーケティングの実践情報

「SEO」と「SPA/PWAによるUX向上」を両立させるハイブリッドレンダリングの基礎知識と実現手法

前編を読んで最新ウェブ技術の入り口に立ったら、次はUXやパフォーマンスを実現するSPAの基本と、SEOのためのハイブリッドレンダリングの基本を理解しよう
Moz2019/8/26 7:00717052
Moz - SEOとインバウンドマーケティングの実践情報

重複コンテンツが発生してしまう19の具体的なパターン - 重複コンテンツ対策完全ガイド #3

サイト構成、システム、ドメイン名、商品一覧ページなど、さまざまな側面から具体的に解説。

ページ

メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

eCPM
「eCPM」はeffective Cost Per Milleの略。「有効CPM ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]