robots.txt とは 意味/解説/説明 (ロボッツ・テキスト)

読み方

ロボッツ・テキスト

関連語

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。

サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。

また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。

http://www.robotstxt.org/

この記事が役に立ったらシェア!

用語「robots.txt」が使われている記事の一覧

全 295 記事中 1 ~ 25 を表示中

ページ

Google 検索エンジン最適化スターター ガイド(日本語版)

グーグルの公式な「Webサイトの作り方ガイド」。
Web担編集部2009/6/8 8:00224434
海外&国内SEO情報ウォッチ

SEO達人の“検索意図”と“高品質なコンテンツ”の解説で、あなたのSEOをレベルアップ【SEO情報まとめ】

SEO業界の達人である住氏と渡辺氏による、「検索意図」「高品質なコンテンツの定義」の情報をお届けする。
鈴木 謙一[執筆]2023/6/23 7:00246827
海外&国内SEO情報ウォッチ

あなたも同じミスをするかも? robots.txtのミスで予想外のページをクロール禁止していた悲劇【SEO情報まとめ】

最強級のSEOと最上級のコンテンツすら台無しにする、robots.txtの予想と違う挙動を、あなたは知っているだろうか? 知らなければうっかりハマってしまうかも
鈴木 謙一[執筆]2022/11/4 7:00234744
Moz - SEOとインバウンドマーケティングの実践情報

SEO基礎用語集[完全版]

Moz2007/8/24 9:00149682
海外&国内SEO情報ウォッチ

Google公式FAQ 第2弾: コア ウェブ バイタルとページ エクスペリエンスに関して知っておきたい28の事実【SEO情報まとめ】

今回は要チェック記事が大量だ! Google検索順位への反映が近いコア ウェブ バイタルの重要情報が3つ、商品レビューに関するGoogle検索アルゴリズムアップデート、画像SEOの3つのポイントなどなど、見逃せないぞ!
鈴木 謙一2021/5/7 7:0015409
海外&国内SEO情報ウォッチ

生成AIとSEOとゴミコンテンツと「基本はインデックスされない時代」【SEO情報まとめ】

「チャットAIでSEOコンテンツを自動生成」と考えたことがある人に読んでほしい、最新の生成AIとSEOやネットの情報を2つと、「これからは、インデックスされないことが普通」という情報を、ピックアップしてお届けする
鈴木 謙一[執筆]2023/7/7 7:00538928
海外&国内SEO情報ウォッチ

グーグルが公式に「SEO的には、文字数300語以上・KW出現率2%以下」と示してプチ炎上【SEO情報まとめ】

「1ページの文字数」「キーワード出現比率」――イマドキのSEOでは非常識なこうした解説をグーグルがオンライン講座で示していたと話題になった
鈴木 謙一2022/5/20 7:005111841
海外&国内SEO情報ウォッチ

どの程度アダルトならGoogle検索でアダルトコンテンツ扱いになるの?【SEO情報まとめ】

グーグルが「アダルトコンテンツ」だと判断する基準は? どんな仕組みでアダルト判定しているの? アダルト自己申告metaタグの書き方も含めて、基本的なことを知っておこう
鈴木 謙一2021/11/12 7:0026367
海外&国内SEO情報ウォッチ

内部リンクが多いほど検索トラフィックが多い!? 1800サイト調査から判明した検索トラフィックと内部リンクの相関関係【SEO情報まとめ】

SEOで2022年でも重要な「リンク」。さほど語られることが多くない「内部リンク」について、検索トラフィックとの関係を調査したデータから、改めて内部リンク戦略を考えてみよう
鈴木 謙一2022/6/17 7:00318611
海外&国内SEO情報ウォッチ

グーグル検索アルゴリズム夏の大アップデート! 今回の対処方法は?【SEO記事12本まとめ】

◯◯すれば、グーグル内の信頼性スコアや品質ランクがアップする!?
鈴木 謙一2018/8/24 7:002189622
海外&国内SEO情報ウォッチ

グーグルはインデックスする基準を以前より厳しくしている!? 対処法は?【SEO情報まとめ】

「Googleにインデックスされにくくなっている」そう感じているのはアナタだけではない。技術的に問題ないのにインデックスされない状況への対応法を、技術面とコンテンツ面で解説。
鈴木 謙一2022/4/1 7:003711128
海外&国内SEO情報ウォッチ

Z世代はめっちゃ検索してる! 「若者は検索エンジンを使わない」は偏見だった!?【SEO情報まとめ】

「日本のZ世代は検索エンジンを使わない、SEO嫌いだから」「ソーシャルの検索やタグしか使っていない」というのは事実ではなかった、それどころか、Z世代は30代よりも検索エンジンを使いまくっているらしい
鈴木 謙一2021/10/15 7:0024016333
海外&国内SEO情報ウォッチ

【悲劇】CV貢献してない記事ページを整理 → ECサイト全体の売上が減少【ありがち】【SEO情報まとめ】

あるECサイトで、売上に貢献していないと判断された情報提供コンテンツを削除したら、トップページやカテゴリページの検索順位までもが下がり、結果として売上にも影響が出てしまった!
鈴木 謙一2020/2/14 7:0019910428
海外&国内SEO情報ウォッチ

グーグルSEOのランキング要因にコアウェブバイタル、2021年5月からに決定【SEO情報まとめ】

コアウェブバイタルが2021年5月から正式にGoogle検索のランキング要因になる。その重要度や事前対策なども解説する。
鈴木 謙一2020/11/27 7:00595723
海外&国内SEO情報ウォッチ

役たたずなSEO目的ページをサイトごと落とすGoogleの新アルゴリズム「ヘルプフル コンテンツ アップデート」【SEO情報まとめ】

グーグルが画期的な検索アルゴリズムを導入する。その名も「ヘルプフル コンテンツ アップデート」。まだ英語圏だけのこのアップデートの仕組みは? どんなサイトが落ちてる? 今のうちに把握しておこう。
鈴木 謙一[執筆]2022/9/30 7:00527717
海外&国内SEO情報ウォッチ

グーグルDiscoverの掲載判断には検索のランキング要因と同じものが多い【SEO情報まとめ】

SEO担当者のなかには「Google Discoverからのトラフィック獲得」が役割の人もいるだろう。今回は、そんなDiscover最適化に役立つ情報をお届けする
鈴木 謙一[執筆]2023/3/10 7:0016244
海外&国内SEO情報ウォッチ

Google検索×生成AIの「SGE」が日本で試験運用。Bardとは違う? SEOへの影響は?【SEO情報まとめ】

Google検索の新しい機能「SGE」日本語版の試験運用がスタートした。どんな機能なのか。強調スニペットとの違いは? Bardとはどう違うのか? 間違った回答への対策は? 検索トラフィックはどうなる?
鈴木 謙一[執筆]2023/9/8 7:00163610
海外&国内SEO情報ウォッチ

新人に読ませておきたい「グーグルSEOでやったら本当にヤバいこと」【SEO記事12本まとめ】

SEOに詳しいあなたならば「あり得ない」ことも、新人さんは何も知らない前提でちゃんと教えましょう
鈴木 謙一2018/4/13 7:0018012062
海外&国内SEO情報ウォッチ

強調スニペットがSEO成功とは限らなくなる? グーグルが検索結果1ページ目の表示を変更【SEO情報まとめ】

Google検索で1位よりも上に表示される「強調スニペット」を獲得することの検索トラフィック価値が、グーグルの仕様変更によって変わりつつある。想定外なYahoo!検索への影響を含め、変更の内容を詳しくお届けする。
鈴木 謙一2020/1/31 7:00514712
海外&国内SEO情報ウォッチ

令和のグーグル検索では、広告を出していても検索順位は上がりません!【SEO記事12本まとめ】

平成から令和へと移り変わらんとする今でも繰り返し出てくる「グーグルにいっぱい広告を出してる企業は、検索ランキングでも優遇されてるのでは?」という話題を改めて
鈴木 謙一2019/4/26 7:00876011
海外&国内SEO情報ウォッチ

検索避けの方法|Googleで表示・検索・アクセスされないようにしたい

検索よけといってもrobots.txtやnoindexでグーグルの検索エンジンに引っかからなくする方法やページを削除せずにパスワード保護する方法など、用途に応じた方法が存在します。SEOでも基本的ですが重要なテクニックなので改めておさらいしていきましょう。
鈴木 謙一2021/12/10 7:00194811
海外&国内SEO情報ウォッチ

Search Consoleの4人に1人は勘違いしそうな仕様で某有名サイトがSERPから消滅!?【SEO情報まとめ】

ある有名ビジネス系SNSサイトが、グーグルの検索結果から消えた!? Search Consoleの“ちょっと特殊な”仕様を紹介しながら、検索エンジンからURLを削除するときが来たら思い出すといい情報をお届けする。
鈴木 謙一2020/5/22 7:007415331
海外&国内SEO情報ウォッチ

【重要】コアウェブバイタルとは? LCP/FID/CLSをわかりやすく解説【SEO情報まとめ】

Googleが発表した、最新のUX重要指標「core web vitals(コアウェブバイタル)」の3つ「LCP」「FID」「CLS」について、その意味やそこから見える問題点・改善基準をわかりやすく解説する。また、パンくずリストの位置など最新SEO情報もまとめた。
鈴木 謙一2020/6/5 7:0016810778
海外&国内SEO情報ウォッチ

コアウェブバイタル改善にはメリットしかない。離脱率24%減・トップニュース表示は魅力的【SEO情報まとめ】

今週もグーグルの「コア ウェブ バイタル」3指標についてさらに情報を。モバイル検索でのトップニュース枠掲載の条件になる予定と、この指標を真面目に改善していくと売上や利益といったビジネス指標にも効果があるという話題だ
鈴木 謙一2020/6/19 7:00263311
海外&国内SEO情報ウォッチ

Googlebotのレンダリングが最新版Chrome相当になった! これは嬉しい!【SEO記事13本まとめ】

GooglebotのレンダリングがChrome 74相当になり、ほぼどんなサイトでも、ユーザーが見ているのと同様の内容でグーグルにインデックスされるようになる。
鈴木 謙一2019/5/24 7:00506222

ページ

メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

Python
「Python」(パイソン)は、プログラミング言語の1つ。プログラマのグイド・ヴ ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]