robots.txt とは 意味/解説/説明 (ロボッツ・テキスト)

よろしければこちらもご覧ください

読み方

ロボッツ・テキスト

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。

サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。

また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。

http://www.robotstxt.org/

この記事が役に立ったらシェア!

用語「robots.txt」が使われている記事の一覧

全 260 記事中 1 ~ 50 を表示中

ページ

海外&国内SEO情報ウォッチ

グーグル検索アルゴリズム夏の大アップデート! 今回の対処方法は?【SEO記事12本まとめ】

◯◯すれば、グーグル内の信頼性スコアや品質ランクがアップする!?
海外&国内SEO情報ウォッチ

【悲劇】CV貢献してない記事ページを整理 → ECサイト全体の売上が減少【ありがち】【SEO情報まとめ】

あるECサイトで、売上に貢献していないと判断された情報提供コンテンツを削除したら、トップページやカテゴリページの検索順位までもが下がり、結果として売上にも影響が出てしまった!
海外&国内SEO情報ウォッチ

グーグルSEOのランキング要因にコアウェブバイタル、2021年5月からに決定【SEO情報まとめ】

コアウェブバイタルが2021年5月から正式にGoogle検索のランキング要因になる。その重要度や事前対策なども解説する。
海外&国内SEO情報ウォッチ

新人に読ませておきたい「グーグルSEOでやったら本当にヤバいこと」【SEO記事12本まとめ】

SEOに詳しいあなたならば「あり得ない」ことも、新人さんは何も知らない前提でちゃんと教えましょう
海外&国内SEO情報ウォッチ

強調スニペットがSEO成功とは限らなくなる? グーグルが検索結果1ページ目の表示を変更【SEO情報まとめ】

Google検索で1位よりも上に表示される「強調スニペット」を獲得することの検索トラフィック価値が、グーグルの仕様変更によって変わりつつある。想定外なYahoo!検索への影響を含め、変更の内容を詳しくお届けする。
海外&国内SEO情報ウォッチ

令和のグーグル検索では、広告を出していても検索順位は上がりません!【SEO記事12本まとめ】

平成から令和へと移り変わらんとする今でも繰り返し出てくる「グーグルにいっぱい広告を出してる企業は、検索ランキングでも優遇されてるのでは?」という話題を改めて
海外&国内SEO情報ウォッチ

Search Consoleの4人に1人は勘違いしそうな仕様で某有名サイトがSERPから消滅!?【SEO情報まとめ】

ある有名ビジネス系SNSサイトが、グーグルの検索結果から消えた!? Search Consoleの“ちょっと特殊な”仕様を紹介しながら、検索エンジンからURLを削除するときが来たら思い出すといい情報をお届けする。
海外&国内SEO情報ウォッチ

【重要】コアウェブバイタルとは? LCP/FID/CLSをわかりやすく解説【SEO情報まとめ】

Googleが発表した、最新のUX重要指標「core web vitals(コアウェブバイタル)」の3つ「LCP」「FID」「CLS」について、その意味やそこから見える問題点・改善基準をわかりやすく解説する。また、パンくずリストの位置など最新SEO情報もまとめた。
海外&国内SEO情報ウォッチ

コアウェブバイタル改善にはメリットしかない。離脱率24%減・トップニュース表示は魅力的【SEO情報まとめ】

今週もグーグルの「コア ウェブ バイタル」3指標についてさらに情報を。モバイル検索でのトップニュース枠掲載の条件になる予定と、この指標を真面目に改善していくと売上や利益といったビジネス指標にも効果があるという話題だ
海外&国内SEO情報ウォッチ

Googlebotのレンダリングが最新版Chrome相当になった! これは嬉しい!【SEO記事13本まとめ】

GooglebotのレンダリングがChrome 74相当になり、ほぼどんなサイトでも、ユーザーが見ているのと同様の内容でグーグルにインデックスされるようになる。
海外&国内SEO情報ウォッチ

SEOで成果を伸ばしたい? 「ユーザーのために」は聞き飽きた? イマドキSEOを大御所が解説【SEO記事12本まとめ】

2017年のSEOをプロ2人が解説。SEOに何ができるのか。そして、 「ユーザーのために」というアドバイスは聞き飽きたという人へ
海外&国内SEO情報ウォッチ

「SEOのために必要なページの文字数」知りたい人、集まれ~!!【SEO記事12本まとめ】

「どんな内容を」「どれぐらいの分量で」「どう見せるか」は、どんなユーザーのどんなニーズや課題に応えるかによって決めるべき
海外&国内SEO情報ウォッチ

常時HTTPS化で失敗したくない! 知って得するグーグルSEO情報×3【SEO記事12本まとめ】

常時HTTPS化で失敗したくないあなたに、HTTPS関連の最新情報を3つ、まとめてお届けする
海外&国内SEO情報ウォッチ

嘘ニュース対策をグーグルが導入。検索結果にファクトチェック情報を掲載【SEO記事12本まとめ】

世界的に問題となっている「フェイクニュース」対策でファクトチェックの情報を表示開始
海外&国内SEO情報ウォッチ

「新R25」がSEO業界で類をみない英断! コンテンツシンジケーションのあるべき姿とは?【SEO記事13本まとめ】

他サイトから記事提供を受けているメディアでは、rel="canonical"をどう設定するべきか?
海外&国内SEO情報ウォッチ

Google検索ランキング要因 “ではない” 36の項目(公式根拠リンク付き)【SEO情報まとめ】

グーグルの検索ランキング要因「ではない」のに、SEO施策の対象だと勘違いされがちなものは多い。36個の「順位決定要因ではないけど、そうだと思われがちなもの」を紹介する。
海外&国内SEO情報ウォッチ

10年前のサイトはGoogle検索に表示されない!? ⇐ 100%間違い、信じちゃダメ【SEO記事12本まとめ】

「グーグル検索では、10年以上前のコンテンツは表示されない」という話を聞いたことはないだろうか。これは完全に間違った情報だ。信じてはいけない
海外&国内SEO情報ウォッチ

Web担当者は7月の危機に備えよ! 「サイトを開くとChromeが“保護されていない”と警告する」の問い合わせが殺到!?【SEO記事12本まとめ】

内部リンクの重要性・MFIのFAQ・サイトマップ・ヤフーすごい・直帰率は高くてもいいなどの情報も
Moz - SEOとインバウンドマーケティングの実践情報

重複コンテンツが発生してしまう19の具体的なパターン - 重複コンテンツ対策完全ガイド #3

サイト構成、システム、ドメイン名、商品一覧ページなど、さまざまな側面から具体的に解説。
海外&国内SEO情報ウォッチ

Googleが参照元アクセスとしてFacebookを逆転! ソーシャル集中から使い分けへ【SEO記事12本まとめ】

「今ドキ集客ならSEOよりソーシャルでしょ」と思っているあなた、少し気にしたい調査データがある。
海外&国内SEO情報ウォッチ

わかりやすいページ表示速度改善TIPS! Googleアナリティクスでほら簡単に!【SEO記事12本まとめ】

「SEOにもUXにも、ページ表示速度の改善が効くのはわかる。でも、どこからどう手をつけていいやら……」そんなあなたに朗報
海外&国内SEO情報ウォッチ

Googleがスピードアップデート発表「モバイルで遅いページは順位を下げるよ!」【SEO記事11本まとめ】

モバイル検索ではモバイル向けページの表示速度が検索順位の決定要因に(7月から)
海外&国内SEO情報ウォッチ

グーグルさん、「良いコンテンツ」ってどういうもの? 定義を教えて!【SEO記事13本まとめ】

グーグルの考える「良質なコンテンツ」の定義について、グーグル長山氏のコメントをもとに解説。
海外&国内SEO情報ウォッチ

御社がSEOで成功できるか1分でわかる3つの質問 【SEO記事12本まとめ】

トップクラスのSEO専門家が重視する3つの判断ポイントとは?
海外&国内SEO情報ウォッチ

SEOの知識にクイズで挑戦! あなたは正解できる? robots.txt初級+中級【SEO情報まとめ】

知っておいて損はない(でもちょっとマニアック)SEOの知識にクイズで挑戦! あなたは仕様を理解してrobots.txtを書き、Googlebotをちゃんとコントロールできるか!?
海外&国内SEO情報ウォッチ

その“コンテンツマーケティング”、筋違いですよね? など10+4記事(海外&国内SEO情報)

SEOに関する17個のよくある質問と答えなどの情報も
海外&国内SEO情報ウォッチ

グーグル音声検索SEOで知っておきたい11の事実【SEO記事12本まとめ】

音声検索向けSEOのポイントには、どういうものがあるのだろうか、1万件のGoogle Homeの検索データから見えてきた事実とは?
海外&国内SEO情報ウォッチ

Googlebotのユーザーエージェント名(UA名)が変わるよ!【SEO情報まとめ】

Googlebotのユーザーエージェント名が変わる。最新のChromeと同等のレンダリングに対応したことを反映しての変更だが、サイト側でこの影響がないか、念のために確認しておこう
海外&国内SEO情報ウォッチ

もう待ったなし! グーグルが全サイトをMFIに強制移行へ(2020年9月予定)【SEO情報まとめ】

あなたのサイトがモバイル対応を完了させていようがいまいが、グーグルは問答無用でモバイル版をインデックスして検索の評価に使うようになる
海外&国内SEO情報ウォッチ

インバウンドマーケティングのプロが語るウェブマーケの5大トレンド など10+4記事

「ブサメン」「イケメン」で理解するリンクの質や、イマドキの有料ディレクトリの話題なども。
海外&国内SEO情報ウォッチ

グーグル検索で1位を獲得するために絶対必要なこと + RankBrain最適化【SEO記事12本まとめ】

今週のピックアップは、グーグルのジョン・ミューラー氏による「検索1位のために絶対必要なこと」と「RankBrain最適化」
海外&国内SEO情報ウォッチ

実録:Googleスピードアップデートで遅いサイトの検索順位が本当に落ちた!【SEO記事12本まとめ】

スピードアップデート実施直後にモバイル検索で、目に見える形でランキングが下落したサイトがあった
海外&国内SEO情報ウォッチ

クロールバジェット最適化について知っておくべき、たった1つのこと【SEO記事12本まとめ】

あなたは「クロールバジェット」と「クローラビリティ」の違いを理解できているか?
Moz - SEOとインバウンドマーケティングの実践情報

【図解】グーグルのリンク評価20の原則【2019年版】(前編#1~#10)

2019年において、グーグルは被リンクや発リンクをどう評価していて、どんなリンクが検索順位に影響をもつのか。基本から最新情報まで、20の原則を図で解説
海外&国内SEO情報ウォッチ

検索エンジンは短いtitleタグ・長いdescriptionがお好き――Etsy独自調査【SEO記事12本まとめ】

コンテンツ第一の時代でも、良いコンテンツをさらに検索で有利にするノウハウが一切ないわけではない
海外&国内SEO情報ウォッチ

グーグルが公式SEOチェックツールを公開【SEO記事11本まとめ】

あなたのサイトでSEOのための設定がちゃんとできているかチェックするツールをグーグルが公開
海外&国内SEO情報ウォッチ

グーグルのエンジニアに聞いたSEOのQ&A 25連発 など10+1記事(海外&国内SEO情報)

マット・カッツを含むグーグルスタッフが回答したSEOのQ&Aを大量に日本語でお届け
海外&国内SEO情報ウォッチ

日本のウェブはHTTPSが嫌い? HTTPS率は他国の5~6割の謎 などSEO記事まとめ10+4本

HTTPSが増えている傾向はあるものの、ユーザーが訪れるページのHTTPS化状況は他国よりかなり低い
海外&国内SEO情報ウォッチ

SEOに強いのは、詳細ページを大量に? 少数ページを強化? グーグル中の人のおススメは……【SEO記事12本まとめ】

「トピックを分けて詳細ページを大量に作る」のと「少数のページにさまざまな情報を盛り込んでいく」のと、SEOではどちらが良いのだろうか?
時代は「SEO」から「SXO」へ ~海外最新サーチ事情・市場予測

SXO実現のためのユーザビリティ観点で押さえておくべき3つのポイント

SXOにおいては、従来のSEOと異なる要素が重要視される。ユーザビリティでは3つのポイントが存在する
海外&国内SEO情報ウォッチ

スマホ向けサイトの最適化レベルを自動チェックするグーグル公式ツール2種 など10+3記事

ヤフーの虫眼鏡SEOスパム、ウェブマスターツールに届くメッセージの解説などのSEOトピックも充実
海外&国内SEO情報ウォッチ

コンテンツの質を高めるには検索意図が大切、でもそれってどう調べればいいの?【SEO記事12本まとめ】

昔「キーワード」、今「検索意図」。意外と難しい検索意図の探り方をわかりやすく解説
海外&国内SEO情報ウォッチ

被リンクなしでの上位表示は可能なのか? マット・カッツ氏いわく……など10+4記事

日本のSEOの現状、スマホ向け表示のポイント、検索順位が下がった原因などの情報も
海外&国内SEO情報ウォッチ

内部リンクが張られてないスマホ向けページ、MFIのクロールは大丈夫? などSEO記事まとめ10+2本

グーグルの長山氏が内部リンクとクロールの疑問に回答
海外&国内SEO情報ウォッチ

グーグル検索結果で“グーグル保証”マーク表示、月々5000円からってこれマジ!?【SEO情報まとめ】

グーグルの検索結果で「GOOGLE GUARANTEED(グーグル保証)」というバッジ(認定マーク)を表示するという、驚きの試験プログラムの情報が入ってきた
海外&国内SEO情報ウォッチ

グーグル「スピードアップデート」ついに開始! モバイル表示速度が検索ランキング要因に【SEO記事12本まとめ】

「本当に遅い体験を提供しているページだけが対象」「遅ければ遅いほど悪影響」
海外&国内SEO情報ウォッチ

なぜグーグルは低品質なまとめ記事を上位表示していたのか?【SEO記事12本まとめ】

グーグルの品質評価を「ラーメン」でわかりやすく解説

ページ

メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

今日の用語

CPC
クリック単価。インターネット広告において、広告を見たユーザーが1クリックするたび ...→用語集へ

連載/特集コーナーから探す

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]