robots.txt とは 意味/解説/説明 (ロボッツ・テキスト)

読み方

ロボッツ・テキスト

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。

サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。

また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。

http://www.robotstxt.org/

用語「robots.txt」が使われている記事の一覧

全 235 記事中 1 ~ 50 を表示中

ページ

単発記事

Google 検索エンジン最適化スターター ガイド(日本語版)

グーグルの公式な「Webサイトの作り方ガイド」。
Web担編集部2009/6/8 8:00
Moz - SEOとインバウンドマーケティングの実践情報

SEO基礎用語集[完全版]

Moz(旧SEOmoz)2007/8/24 9:00
海外&国内SEO情報ウォッチ

グーグル検索アルゴリズム夏の大アップデート! 今回の対処方法は?【SEO記事12本まとめ】

◯◯すれば、グーグル内の信頼性スコアや品質ランクがアップする!?
海外&国内SEO情報ウォッチ

新人に読ませておきたい「グーグルSEOでやったら本当にヤバいこと」【SEO記事12本まとめ】

SEOに詳しいあなたならば「あり得ない」ことも、新人さんは何も知らない前提でちゃんと教えましょう
海外&国内SEO情報ウォッチ

SEOで成果を伸ばしたい? 「ユーザーのために」は聞き飽きた? イマドキSEOを大御所が解説【SEO記事12本まとめ】

2017年のSEOをプロ2人が解説。SEOに何ができるのか。そして、 「ユーザーのために」というアドバイスは聞き飽きたという人へ
鈴木 謙一2017/5/26 7:00
海外&国内SEO情報ウォッチ

「SEOのために必要なページの文字数」知りたい人、集まれ~!!【SEO記事12本まとめ】

「どんな内容を」「どれぐらいの分量で」「どう見せるか」は、どんなユーザーのどんなニーズや課題に応えるかによって決めるべき
鈴木 謙一2017/6/16 6:00
海外&国内SEO情報ウォッチ

常時HTTPS化で失敗したくない! 知って得するグーグルSEO情報×3【SEO記事12本まとめ】

常時HTTPS化で失敗したくないあなたに、HTTPS関連の最新情報を3つ、まとめてお届けする
海外&国内SEO情報ウォッチ

嘘ニュース対策をグーグルが導入。検索結果にファクトチェック情報を掲載【SEO記事12本まとめ】

世界的に問題となっている「フェイクニュース」対策でファクトチェックの情報を表示開始
鈴木 謙一2017/4/14 7:00
海外&国内SEO情報ウォッチ

「新R25」がSEO業界で類をみない英断! コンテンツシンジケーションのあるべき姿とは?【SEO記事13本まとめ】

他サイトから記事提供を受けているメディアでは、rel="canonical"をどう設定するべきか?
海外&国内SEO情報ウォッチ

Web担当者は7月の危機に備えよ! 「サイトを開くとChromeが“保護されていない”と警告する」の問い合わせが殺到!?【SEO記事12本まとめ】

内部リンクの重要性・MFIのFAQ・サイトマップ・ヤフーすごい・直帰率は高くてもいいなどの情報も
Moz - SEOとインバウンドマーケティングの実践情報

重複コンテンツが発生してしまう19の具体的なパターン - 重複コンテンツ対策完全ガイド #3

サイト構成、システム、ドメイン名、商品一覧ページなど、さまざまな側面から具体的に解説。
Moz(旧SEOmoz)2012/2/13 9:00
海外&国内SEO情報ウォッチ

Googleが参照元アクセスとしてFacebookを逆転! ソーシャル集中から使い分けへ【SEO記事12本まとめ】

「今ドキ集客ならSEOよりソーシャルでしょ」と思っているあなた、少し気にしたい調査データがある。
海外&国内SEO情報ウォッチ

Googleがスピードアップデート発表「モバイルで遅いページは順位を下げるよ!」【SEO記事11本まとめ】

モバイル検索ではモバイル向けページの表示速度が検索順位の決定要因に(7月から)
海外&国内SEO情報ウォッチ

グーグルさん、「良いコンテンツ」ってどういうもの? 定義を教えて!【SEO記事13本まとめ】

グーグルの考える「良質なコンテンツ」の定義について、グーグル長山氏のコメントをもとに解説。
海外&国内SEO情報ウォッチ

御社がSEOで成功できるか1分でわかる3つの質問 【SEO記事12本まとめ】

トップクラスのSEO専門家が重視する3つの判断ポイントとは?
海外&国内SEO情報ウォッチ

その“コンテンツマーケティング”、筋違いですよね? など10+4記事(海外&国内SEO情報)

SEOに関する17個のよくある質問と答えなどの情報も
鈴木 謙一2013/2/8 9:00
海外&国内SEO情報ウォッチ

グーグル音声検索SEOで知っておきたい11の事実【SEO記事12本まとめ】

音声検索向けSEOのポイントには、どういうものがあるのだろうか、1万件のGoogle Homeの検索データから見えてきた事実とは?
海外&国内SEO情報ウォッチ

インバウンドマーケティングのプロが語るウェブマーケの5大トレンド など10+4記事

「ブサメン」「イケメン」で理解するリンクの質や、イマドキの有料ディレクトリの話題なども。
鈴木 謙一2013/7/19 9:00
海外&国内SEO情報ウォッチ

グーグル検索で1位を獲得するために絶対必要なこと + RankBrain最適化【SEO記事12本まとめ】

今週のピックアップは、グーグルのジョン・ミューラー氏による「検索1位のために絶対必要なこと」と「RankBrain最適化」
海外&国内SEO情報ウォッチ

実録:Googleスピードアップデートで遅いサイトの検索順位が本当に落ちた!【SEO記事12本まとめ】

スピードアップデート実施直後にモバイル検索で、目に見える形でランキングが下落したサイトがあった
海外&国内SEO情報ウォッチ

クロールバジェット最適化について知っておくべき、たった1つのこと【SEO記事12本まとめ】

あなたは「クロールバジェット」と「クローラビリティ」の違いを理解できているか?
鈴木 謙一6/8 7:00
海外&国内SEO情報ウォッチ

検索エンジンは短いtitleタグ・長いdescriptionがお好き――Etsy独自調査【SEO記事12本まとめ】

コンテンツ第一の時代でも、良いコンテンツをさらに検索で有利にするノウハウが一切ないわけではない
海外&国内SEO情報ウォッチ

グーグルが公式SEOチェックツールを公開【SEO記事11本まとめ】

あなたのサイトでSEOのための設定がちゃんとできているかチェックするツールをグーグルが公開
海外&国内SEO情報ウォッチ

グーグルのエンジニアに聞いたSEOのQ&A 25連発 など10+1記事(海外&国内SEO情報)

マット・カッツを含むグーグルスタッフが回答したSEOのQ&Aを大量に日本語でお届け
鈴木 謙一2010/5/28 10:00
海外&国内SEO情報ウォッチ

日本のウェブはHTTPSが嫌い? HTTPS率は他国の5~6割の謎 などSEO記事まとめ10+4本

HTTPSが増えている傾向はあるものの、ユーザーが訪れるページのHTTPS化状況は他国よりかなり低い
鈴木 謙一2016/11/11 7:00
時代は「SEO」から「SXO」へ ~海外最新サーチ事情・市場予測

SXO実現のためのユーザビリティ観点で押さえておくべき3つのポイント

SXOにおいては、従来のSEOと異なる要素が重要視される。ユーザビリティでは3つのポイントが存在する
松野 亘(クロスフィニティ)2016/10/18 7:00
海外&国内SEO情報ウォッチ

スマホ向けサイトの最適化レベルを自動チェックするグーグル公式ツール2種 など10+3記事

ヤフーの虫眼鏡SEOスパム、ウェブマスターツールに届くメッセージの解説などのSEOトピックも充実
鈴木 謙一2014/11/28 8:00
海外&国内SEO情報ウォッチ

コンテンツの質を高めるには検索意図が大切、でもそれってどう調べればいいの?【SEO記事12本まとめ】

昔「キーワード」、今「検索意図」。意外と難しい検索意図の探り方をわかりやすく解説
鈴木 謙一2017/2/17 7:00
海外&国内SEO情報ウォッチ

被リンクなしでの上位表示は可能なのか? マット・カッツ氏いわく……など10+4記事

日本のSEOの現状、スマホ向け表示のポイント、検索順位が下がった原因などの情報も
鈴木 謙一2014/6/6 9:00
海外&国内SEO情報ウォッチ

内部リンクが張られてないスマホ向けページ、MFIのクロールは大丈夫? などSEO記事まとめ10+2本

グーグルの長山氏が内部リンクとクロールの疑問に回答
鈴木 謙一2016/12/9 7:00
海外&国内SEO情報ウォッチ

グーグル「スピードアップデート」ついに開始! モバイル表示速度が検索ランキング要因に【SEO記事12本まとめ】

「本当に遅い体験を提供しているページだけが対象」「遅ければ遅いほど悪影響」
Moz - SEOとインバウンドマーケティングの実践情報

「有料リンクは是か非か」GoogleのMatt Cutts氏も盛り上がったSES San Jose 2007

Moz(旧SEOmoz)2007/9/14 9:00
海外&国内SEO情報ウォッチ

なぜグーグルは低品質なまとめ記事を上位表示していたのか?【SEO記事12本まとめ】

グーグルの品質評価を「ラーメン」でわかりやすく解説
海外&国内SEO情報ウォッチ

グーグル検索結果のスパム率は0.5%以下だって!?【SEO記事12本まとめ】

少なくとも「ウェブマスター向けガイドラインに反するようなスパムコンテンツ」に関しては、かなりうまく対処できるようになっているようだ
鈴木 謙一7/6 7:00
海外&国内SEO情報ウォッチ

グーグルがJavaScriptを本格的に読んで実行するようになった! など10+4記事

グーグルがクロール&インデックスの際に、JavaScriptを本格的に実行するようになった
鈴木 謙一2014/5/30 9:00
海外&国内SEO情報ウォッチ

グーグル公式SEO情報リソース9種まとめ【SEO記事10本まとめ】

信頼できるSEOの情報はどこにある? 散在しているSEO関連のグーグル公式情報をまとめてみた
海外&国内SEO情報ウォッチ

低品質コンテンツは削除すべき? 改善すべき? ゲイリーの正論vsランドの現実【SEO記事11本まとめ】

低品質コンテンツの第一の対処法は“改善”、その検討のうえで削除はアリ
海外&国内SEO情報ウォッチ

グーグルの“隠れた”品質評価アルゴリズムに対応する方法 などSEO記事まとめ10+2本

グーグルがコンテンツの品質を評価する「隠れた」アルゴリズムとその対策について解説する
海外&国内SEO情報ウォッチ

SEOクイズ⇒ robots.txtがステータスコード200・4xx・5xxを返したらGooglebotはそれぞれどう動く?【SEO記事12本まとめ】

知っておいて損はない豆知識。「日経電子版スゲー」の記事も、SEOとは直接関係ないけれども必読!
鈴木 謙一2017/11/24 7:00
海外&国内SEO情報ウォッチ

パンダアップデート日本導入から1週間、影響は? 対策は? など10+4記事(海外&国内SEO情報)

グーグルの警告メッセージの送信対象拡大や、順位低下でトンズラした悪徳SEO業者の話なども。
鈴木 謙一2012/7/27 9:00
海外&国内SEO情報ウォッチ

HTTPS移行のよくあるQ&A 13連発。順位は? インデックスは? 作業は? などSEO記事まとめ10+3本

AMP導入ガイドの日本語版、titleタグの重要性は落ちた? Googleアナリティクスのデータをグーグルが検索に使っているか、などなど
鈴木 謙一2016/2/5 7:00
海外&国内SEO情報ウォッチ

常時HTTPSにすると過去記事のいいね!数がゼロになってしまう問題の解決策 など10+2記事

常時HTTPS化やドメイン名移行で、各ページの「いいね!」数がゼロに戻る問題への1つの解決策を、今週はピックアップ
鈴木 謙一2015/7/10 7:00
海外&国内SEO情報ウォッチ

衝撃の試算! ECサイトをAMP対応するだけでアクセス数110%・CV率120%になる!?【SEO記事12本まとめ】

ECサイトをAMP対応すると、売上はどれぐらい増えるのか? Forresterの試算を紹介
鈴木 謙一3/30 7:00
海外&国内SEO情報ウォッチ

半年も持たず失敗するオウンドメディアが持つ6つの特徴 などSEO記事まとめ10+3本

ChromeでのHTTPS鍵アイコンの変更、グーグルが推進するモバイル高速化の「AMP」、重複コンテンツなどなど
鈴木 謙一2015/12/4 7:00
海外&国内SEO情報ウォッチ

何っ! PWAがデスクトップでも動くだと? しかも最高だと?【SEO記事12本まとめ】

グーグルはPCでもPWAを利用できるように取り組んでいる。その近未来の姿をお見せしよう。
海外&国内SEO情報ウォッチ

meta refreshタグを301リダイレクト代わりに使うのはダメ? グーグルのえらい人が解説 など10+4記事

meta refreshを使ったリダイレクトは、なぜSEO的に良くないのか
鈴木 謙一2015/2/13 7:00
Moz - SEOとインバウンドマーケティングの実践情報

ブログのアクセス数を増やす21の戦略

Moz(旧SEOmoz)2007/6/15 9:00
海外&国内SEO情報ウォッチ

SEOのちょっとマニアックなQ&A×10 など10+4記事(海外&国内SEO情報)

オーストラリアのSEOコンサルタントが答えた微妙にマニアックなSEOのQ&A
鈴木 謙一2012/9/7 9:00
海外&国内SEO情報ウォッチ

WordPressのSEOを強化する7つの設定 など10+4記事

検索結果に電話番号や店舗の営業時間を表示する設定やウェブマスターツールなどの情報も
鈴木 謙一2014/4/18 9:00
海外&国内SEO情報ウォッチ

スマホ版ページをnoindexにしてもスマホ検索には出る!?(スマホ対応ラベルも付く) など10+2記事

ピックアップは、スマホ版ページにnoindexを指定していても、対応するPC版ページがnoindexでなければ検索結果に出てしまう現象について
鈴木 謙一2015/7/3 7:00

ページ

みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く

Web業界の転職情報

もっと見る
Sponsored by

今日の用語

Googleアナリティクス
Googleの提供する無料のアクセス解析サービス。 ・Google アナリ ...→用語集へ

連載/特集コーナーから探す

インフォメーション

Web担のメルマガを購読しませんか?
Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。

Web担に広告を掲載しませんか?
購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。

サイトマップ
RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]