インプレス ビジネスメディア
Web担トップ » 用語集 » robots.txt

robots.txt とは 意味/解説/説明 （ロボッツ・テキスト）

読み方

ロボッツ・テキスト

関連語

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。

サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。

また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。

http://www.robotstxt.org/

この記事が役に立ったらシェア!

用語「robots.txt」が使われている記事の一覧

全 307 記事中 1 ～ 25 を表示中

ページ

Google 検索エンジン最適化スターター ガイド（日本語版）

グーグルの公式な「Webサイトの作り方ガイド」。
Web担編集部2009/6/8 8:00224433
海外&国内SEO情報ウォッチ

SEO達人の“検索意図”と“高品質なコンテンツ”の解説で、あなたのSEOをレベルアップ【SEO情報まとめ】

SEO業界の達人である住氏と渡辺氏による、「検索意図」「高品質なコンテンツの定義」の情報をお届けする。
鈴木 謙一[執筆]2023/6/23 7:00246826
海外&国内SEO情報ウォッチ

あなたも同じミスをするかも？ robots.txtのミスで予想外のページをクロール禁止していた悲劇【SEO情報まとめ】

最強級のSEOと最上級のコンテンツすら台無しにする、robots.txtの予想と違う挙動を、あなたは知っているだろうか？ 知らなければうっかりハマってしまうかも
鈴木 謙一[執筆]2022/11/4 7:00234744
Moz - SEOとインバウンドマーケティングの実践情報

SEO基礎用語集［完全版］

Moz2007/8/24 9:00149681
海外&国内SEO情報ウォッチ

Google公式FAQ 第2弾： コア ウェブ バイタルとページ エクスペリエンスに関して知っておきたい28の事実【SEO情報まとめ】

今回は要チェック記事が大量だ！ Google検索順位への反映が近いコア ウェブ バイタルの重要情報が3つ、商品レビューに関するGoogle検索アルゴリズムアップデート、画像SEOの3つのポイントなどなど、見逃せないぞ！
鈴木 謙一2021/5/7 7:0015409
海外&国内SEO情報ウォッチ

Googleレンダリングの都市伝説： JavaScript SEOの誤解と対策【SEO情報まとめ】

現在のGoogleは、JavaScriptやCSSも含めてレンダリングしたうえでインデックスしている。この処理に関する誤解（都市伝説）を、調査データと分析でVercelが検証している
鈴木 謙一[執筆]8/9 7:004146
海外&国内SEO情報ウォッチ

生成AIとSEOとゴミコンテンツと「基本はインデックスされない時代」【SEO情報まとめ】

「チャットAIでSEOコンテンツを自動生成」と考えたことがある人に読んでほしい、最新の生成AIとSEOやネットの情報を2つと、「これからは、インデックスされないことが普通」という情報を、ピックアップしてお届けする
鈴木 謙一[執筆]2023/7/7 7:00649128
海外&国内SEO情報ウォッチ

グーグルが公式に「SEO的には、文字数300語以上・KW出現率2%以下」と示してプチ炎上【SEO情報まとめ】

「1ページの文字数」「キーワード出現比率」――イマドキのSEOでは非常識なこうした解説をグーグルがオンライン講座で示していたと話題になった
鈴木 謙一2022/5/20 7:005211841
海外&国内SEO情報ウォッチ

どの程度アダルトならGoogle検索でアダルトコンテンツ扱いになるの？【SEO情報まとめ】

グーグルが「アダルトコンテンツ」だと判断する基準は？ どんな仕組みでアダルト判定しているの？ アダルト自己申告metaタグの書き方も含めて、基本的なことを知っておこう
鈴木 謙一2021/11/12 7:0026366
海外&国内SEO情報ウォッチ

内部リンクが多いほど検索トラフィックが多い!? 1800サイト調査から判明した検索トラフィックと内部リンクの相関関係【SEO情報まとめ】

SEOで2022年でも重要な「リンク」。さほど語られることが多くない「内部リンク」について、検索トラフィックとの関係を調査したデータから、改めて内部リンク戦略を考えてみよう
鈴木 謙一2022/6/17 7:00318611
海外&国内SEO情報ウォッチ

グーグル検索アルゴリズム夏の大アップデート！ 今回の対処方法は？【SEO記事12本まとめ】

◯◯すれば、グーグル内の信頼性スコアや品質ランクがアップする！？
鈴木 謙一2018/8/24 7:002189622
海外&国内SEO情報ウォッチ

グーグルはインデックスする基準を以前より厳しくしている！？ 対処法は？【SEO情報まとめ】

「Googleにインデックスされにくくなっている」そう感じているのはアナタだけではない。技術的に問題ないのにインデックスされない状況への対応法を、技術面とコンテンツ面で解説。
鈴木 謙一2022/4/1 7:003711128
海外&国内SEO情報ウォッチ

Z世代はめっちゃ検索してる！ 「若者は検索エンジンを使わない」は偏見だった！？【SEO情報まとめ】

「日本のZ世代は検索エンジンを使わない、SEO嫌いだから」「ソーシャルの検索やタグしか使っていない」というのは事実ではなかった、それどころか、Z世代は30代よりも検索エンジンを使いまくっているらしい
鈴木 謙一2021/10/15 7:0024016333
海外&国内SEO情報ウォッチ

【悲劇】CV貢献してない記事ページを整理 → ECサイト全体の売上が減少【ありがち】【SEO情報まとめ】

あるECサイトで、売上に貢献していないと判断された情報提供コンテンツを削除したら、トップページやカテゴリページの検索順位までもが下がり、結果として売上にも影響が出てしまった！
鈴木 謙一2020/2/14 7:0019910428
海外&国内SEO情報ウォッチ

グーグルSEOのランキング要因にコアウェブバイタル、2021年5月からに決定【SEO情報まとめ】

コアウェブバイタルが2021年5月から正式にGoogle検索のランキング要因になる。その重要度や事前対策なども解説する。
鈴木 謙一2020/11/27 7:00595723
海外&国内SEO情報ウォッチ

役たたずなSEO目的ページをサイトごと落とすGoogleの新アルゴリズム「ヘルプフル コンテンツ アップデート」【SEO情報まとめ】

グーグルが画期的な検索アルゴリズムを導入する。その名も「ヘルプフル コンテンツ アップデート」。まだ英語圏だけのこのアップデートの仕組みは？ どんなサイトが落ちてる？ 今のうちに把握しておこう。
鈴木 謙一[執筆]2022/9/30 7:00527716
海外&国内SEO情報ウォッチ

グーグルDiscoverの掲載判断には検索のランキング要因と同じものが多い【SEO情報まとめ】

SEO担当者のなかには「Google Discoverからのトラフィック獲得」が役割の人もいるだろう。今回は、そんなDiscover最適化に役立つ情報をお届けする
鈴木 謙一[執筆]2023/3/10 7:0016244
海外&国内SEO情報ウォッチ

Google検索×生成AIの「SGE」が日本で試験運用。Bardとは違う? SEOへの影響は?【SEO情報まとめ】

Google検索の新しい機能「SGE」日本語版の試験運用がスタートした。どんな機能なのか。強調スニペットとの違いは？ Bardとはどう違うのか？ 間違った回答への対策は？ 検索トラフィックはどうなる？
鈴木 謙一[執筆]2023/9/8 7:00163610
海外&国内SEO情報ウォッチ

新人に読ませておきたい「グーグルSEOでやったら本当にヤバいこと」【SEO記事12本まとめ】

SEOに詳しいあなたならば「あり得ない」ことも、新人さんは何も知らない前提でちゃんと教えましょう
鈴木 謙一2018/4/13 7:0018012062
海外&国内SEO情報ウォッチ

強調スニペットがSEO成功とは限らなくなる？ グーグルが検索結果1ページ目の表示を変更【SEO情報まとめ】

Google検索で1位よりも上に表示される「強調スニペット」を獲得することの検索トラフィック価値が、グーグルの仕様変更によって変わりつつある。想定外なYahoo!検索への影響を含め、変更の内容を詳しくお届けする。
鈴木 謙一2020/1/31 7:00514712
海外&国内SEO情報ウォッチ

令和のグーグル検索では、広告を出していても検索順位は上がりません！【SEO記事12本まとめ】

平成から令和へと移り変わらんとする今でも繰り返し出てくる「グーグルにいっぱい広告を出してる企業は、検索ランキングでも優遇されてるのでは？」という話題を改めて
鈴木 謙一2019/4/26 7:00876011
海外&国内SEO情報ウォッチ

検索避けの方法｜Googleで表示・検索・アクセスされないようにしたい

検索よけといってもrobots.txtやnoindexでグーグルの検索エンジンに引っかからなくする方法やページを削除せずにパスワード保護する方法など、用途に応じた方法が存在します。SEOでも基本的ですが重要なテクニックなので改めておさらいしていきましょう。
鈴木 謙一2021/12/10 7:00194812
海外&国内SEO情報ウォッチ

Search Consoleの4人に1人は勘違いしそうな仕様で某有名サイトがSERPから消滅!?【SEO情報まとめ】

ある有名ビジネス系SNSサイトが、グーグルの検索結果から消えた!? Search Consoleの“ちょっと特殊な”仕様を紹介しながら、検索エンジンからURLを削除するときが来たら思い出すといい情報をお届けする。
鈴木 謙一2020/5/22 7:007415331
海外&国内SEO情報ウォッチ

グーグルにアピールしても無駄なSEOテク5選＋SEOに効くコンテンツ作りの原則【SEO情報まとめ】

Googleのアップデートに耐えて検索上位をキープするコンテンツを作るために大切なこととは？ 「EC機能が最強」などの声に対して、グーグル検索の公式アカウントが「こういうのは意味ない」「やるならこう」という具体例や考え方を示した。
鈴木 謙一[執筆]3/29 7:00265564
海外&国内SEO情報ウォッチ

【重要】コアウェブバイタルとは? LCP/FID/CLSをわかりやすく解説【SEO情報まとめ】

Googleが発表した、最新のUX重要指標「core web vitals（コアウェブバイタル）」の3つ「LCP」「FID」「CLS」について、その意味やそこから見える問題点・改善基準をわかりやすく解説する。また、パンくずリストの位置など最新SEO情報もまとめた。
鈴木 謙一2020/6/5 7:0016810778

ページ

メルマガの登録はこちら　Web担当者に役立つ情報をサクッとゲット！

人気記事トップ10（過去7日間）

  1. 2026年卒「就職人気企業」、トップは7年連続の商社ながら、エンタメ企業が上位に多数ランクイン【学情調べ】
  2. TVerを最も見ている都道府県が判明！ 2024年、再生回数＆検索数トップの配信も発表【TVer調べ】
  3. クリスマスにはこれを贈りたい！ パパママ祖父母が選んだ「2024おもちゃ」トップ20が発表！【日本玩具協会調べ】
  4. 山梨県vs静岡県？ 鳥取県vs島根県？ ライバル視している都道府県を聞いてみた【ソニー生命保険調べ】
  5. X（旧Twitter）の利用規約改定「中身のない」アカウントが次々閉鎖…その背景とねらいを考える
  6. 従来のマーケティングではもう限界⁉ マーケターの9割弱が「やり方を変えないと成果が出ない」【HubSpot Japan調べ】
  7. コンテンツマーケはBOFUから始める。「BOFU」がわからない人は、まずこの記事を読むべし（前編）
  8. 【マンガ】消費者庁も激おこ！法律的にNGな「No.1表示」とは？ JMRA小林さん、一ノ瀬さんに聞いてきた
  9. 総合商社強し！ 2026卒大学生「就職先人気企業ランキング」は「伊藤忠商事」が圧倒的強さを発揮【ダイヤモンドHR調べ】
  10. 生成AIがSEO対策をする時代？ 約半数の企業が「キーワード分析」をAIで効率化【インフォネット調べ】

今日の用語

メディアレップ
媒体が保有する広告枠を仕入れ、広告主や広告代理店に販売する業種のこと。取り扱い広 ...→用語集へ

連載/特集コーナーから探す

ぜんぶ見る

インフォメーション

RSSフィード

Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]

[SPONSOR]
株式会社日本レジストリサービス株式会社キノトロープSitecore株式会社ミツエーリンクス株式会社電通デジタル株式会社サイズプライム・ストラテジー株式会社