robots.txt とは 意味/解説/説明 (ロボッツ・テキスト)

読み方

ロボッツ・テキスト

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。

サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。

また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。

http://www.robotstxt.org/

この記事が役に立ったらシェア!

用語「robots.txt」が使われている記事の一覧

全 270 記事中 1 ~ 25 を表示中

ページ

単発記事

Google 検索エンジン最適化スターター ガイド(日本語版)

グーグルの公式な「Webサイトの作り方ガイド」。
Web担編集部2009/6/8 8:00224439
Moz - SEOとインバウンドマーケティングの実践情報

SEO基礎用語集[完全版]

海外&国内SEO情報ウォッチ

Google公式FAQ 第2弾: コア ウェブ バイタルとページ エクスペリエンスに関して知っておきたい28の事実【SEO情報まとめ】

今回は要チェック記事が大量だ! Google検索順位への反映が近いコア ウェブ バイタルの重要情報が3つ、商品レビューに関するGoogle検索アルゴリズムアップデート、画像SEOの3つのポイントなどなど、見逃せないぞ!
鈴木 謙一5/7 7:0015408
海外&国内SEO情報ウォッチ

グーグル検索アルゴリズム夏の大アップデート! 今回の対処方法は?【SEO記事12本まとめ】

◯◯すれば、グーグル内の信頼性スコアや品質ランクがアップする!?
鈴木 謙一2018/8/24 7:002189623
海外&国内SEO情報ウォッチ

Z世代はめっちゃ検索してる! 「若者は検索エンジンを使わない」は偏見だった!?【SEO情報まとめ】

「日本のZ世代は検索エンジンを使わない、SEO嫌いだから」「ソーシャルの検索やタグしか使っていない」というのは事実ではなかった、それどころか、Z世代は30代よりも検索エンジンを使いまくっているらしい
海外&国内SEO情報ウォッチ

【悲劇】CV貢献してない記事ページを整理 → ECサイト全体の売上が減少【ありがち】【SEO情報まとめ】

あるECサイトで、売上に貢献していないと判断された情報提供コンテンツを削除したら、トップページやカテゴリページの検索順位までもが下がり、結果として売上にも影響が出てしまった!
海外&国内SEO情報ウォッチ

グーグルSEOのランキング要因にコアウェブバイタル、2021年5月からに決定【SEO情報まとめ】

コアウェブバイタルが2021年5月から正式にGoogle検索のランキング要因になる。その重要度や事前対策なども解説する。
鈴木 謙一2020/11/27 7:00575624
海外&国内SEO情報ウォッチ

新人に読ませておきたい「グーグルSEOでやったら本当にヤバいこと」【SEO記事12本まとめ】

SEOに詳しいあなたならば「あり得ない」ことも、新人さんは何も知らない前提でちゃんと教えましょう
海外&国内SEO情報ウォッチ

強調スニペットがSEO成功とは限らなくなる? グーグルが検索結果1ページ目の表示を変更【SEO情報まとめ】

Google検索で1位よりも上に表示される「強調スニペット」を獲得することの検索トラフィック価値が、グーグルの仕様変更によって変わりつつある。想定外なYahoo!検索への影響を含め、変更の内容を詳しくお届けする。
鈴木 謙一2020/1/31 7:00514713
海外&国内SEO情報ウォッチ

令和のグーグル検索では、広告を出していても検索順位は上がりません!【SEO記事12本まとめ】

平成から令和へと移り変わらんとする今でも繰り返し出てくる「グーグルにいっぱい広告を出してる企業は、検索ランキングでも優遇されてるのでは?」という話題を改めて
鈴木 謙一2019/4/26 7:00876011
海外&国内SEO情報ウォッチ

Search Consoleの4人に1人は勘違いしそうな仕様で某有名サイトがSERPから消滅!?【SEO情報まとめ】

ある有名ビジネス系SNSサイトが、グーグルの検索結果から消えた!? Search Consoleの“ちょっと特殊な”仕様を紹介しながら、検索エンジンからURLを削除するときが来たら思い出すといい情報をお届けする。
鈴木 謙一2020/5/22 7:007115232
海外&国内SEO情報ウォッチ

【重要】コアウェブバイタルとは? LCP/FID/CLSをわかりやすく解説【SEO情報まとめ】

Googleが発表した、最新のUX重要指標「core web vitals(コアウェブバイタル)」の3つ「LCP」「FID」「CLS」について、その意味やそこから見える問題点・改善基準をわかりやすく解説する。また、パンくずリストの位置など最新SEO情報もまとめた。
海外&国内SEO情報ウォッチ

コアウェブバイタル改善にはメリットしかない。離脱率24%減・トップニュース表示は魅力的【SEO情報まとめ】

今週もグーグルの「コア ウェブ バイタル」3指標についてさらに情報を。モバイル検索でのトップニュース枠掲載の条件になる予定と、この指標を真面目に改善していくと売上や利益といったビジネス指標にも効果があるという話題だ
鈴木 謙一2020/6/19 7:00263312
海外&国内SEO情報ウォッチ

Googlebotのレンダリングが最新版Chrome相当になった! これは嬉しい!【SEO記事13本まとめ】

GooglebotのレンダリングがChrome 74相当になり、ほぼどんなサイトでも、ユーザーが見ているのと同様の内容でグーグルにインデックスされるようになる。
鈴木 謙一2019/5/24 7:00506222
海外&国内SEO情報ウォッチ

SEOで成果を伸ばしたい? 「ユーザーのために」は聞き飽きた? イマドキSEOを大御所が解説【SEO記事12本まとめ】

2017年のSEOをプロ2人が解説。SEOに何ができるのか。そして、 「ユーザーのために」というアドバイスは聞き飽きたという人へ
海外&国内SEO情報ウォッチ

2021年のSEOに役立つこと間違いなし! 13個のSEOアドバイス【SEO情報まとめ】

2021年のSEOを考えるうえで役立つ情報をお届けする。グーグルのジョン・ミューラー氏が語った11のアドバイスと、プロのSEOコンサルタントが強調した2つの心構えだ
海外&国内SEO情報ウォッチ

「SEOのために必要なページの文字数」知りたい人、集まれ~!!【SEO記事12本まとめ】

「どんな内容を」「どれぐらいの分量で」「どう見せるか」は、どんなユーザーのどんなニーズや課題に応えるかによって決めるべき
鈴木 謙一2017/6/16 6:00495836
海外&国内SEO情報ウォッチ

常時HTTPS化で失敗したくない! 知って得するグーグルSEO情報×3【SEO記事12本まとめ】

常時HTTPS化で失敗したくないあなたに、HTTPS関連の最新情報を3つ、まとめてお届けする
海外&国内SEO情報ウォッチ

嘘ニュース対策をグーグルが導入。検索結果にファクトチェック情報を掲載【SEO記事12本まとめ】

世界的に問題となっている「フェイクニュース」対策でファクトチェックの情報を表示開始
鈴木 謙一2017/4/14 7:004517542
海外&国内SEO情報ウォッチ

「新R25」がSEO業界で類をみない英断! コンテンツシンジケーションのあるべき姿とは?【SEO記事13本まとめ】

他サイトから記事提供を受けているメディアでは、rel="canonical"をどう設定するべきか?
海外&国内SEO情報ウォッチ

Google検索ランキング要因 “ではない” 36の項目(公式根拠リンク付き)【SEO情報まとめ】

グーグルの検索ランキング要因「ではない」のに、SEO施策の対象だと勘違いされがちなものは多い。36個の「順位決定要因ではないけど、そうだと思われがちなもの」を紹介する。
鈴木 謙一2020/8/21 7:00845740
海外&国内SEO情報ウォッチ

10年前のサイトはGoogle検索に表示されない!? ⇐ 100%間違い、信じちゃダメ【SEO記事12本まとめ】

「グーグル検索では、10年以上前のコンテンツは表示されない」という話を聞いたことはないだろうか。これは完全に間違った情報だ。信じてはいけない
鈴木 謙一2019/8/9 7:0041619
海外&国内SEO情報ウォッチ

2021年のグーグルSEO予測: CTR低下、ランキング要因、アップデートなど5項目【SEO情報まとめ】

2021年のグーグルSEOはどうなるのだろうか? サイラス・シェパード氏による5つの予測をお届けする。「SERPでのCTRは下がる」など、頭に入れておいて損はなさそうだ。
海外&国内SEO情報ウォッチ

Web担当者は7月の危機に備えよ! 「サイトを開くとChromeが“保護されていない”と警告する」の問い合わせが殺到!?【SEO記事12本まとめ】

内部リンクの重要性・MFIのFAQ・サイトマップ・ヤフーすごい・直帰率は高くてもいいなどの情報も
海外&国内SEO情報ウォッチ

Search Consoleから来た「SharedArrayBuffers の使用に必要な新しい要件」の警告メールって何? ヤバいの?【SEO情報まとめ】

Search Consoleで管理しているサイトに、意味はわからないがなんだかマズそうなメールが来た
鈴木 謙一4/9 7:0012214

ページ

メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

ジオターゲティング
IPアドレスなどから閲覧者の居住地を解析し、それを利用する技術。 居住地を ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]