robots.txt とは 意味/解説/説明 (ロボッツ・テキスト)

読み方

ロボッツ・テキスト

関連語

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。 サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。 また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。http://www.robotstxt.org/

用語「robots.txt」 が使われている記事の一覧

全 359 記事中 1 ~ 50 を表示中

Moz - SEOとインバウンドマーケティングの実践情報 SEO基礎用語集[完全版]

Moz

2007年8月24日 9:00

  • 679
  • SEO
  • 解説/ノウハウ

先週のWeb担まとめ記事 2008/02/25〜2008/02/29に公開されたWeb坦の記事まとめ

Web担編集部

2008年3月3日 13:00

  • その他
  • ランキング/まとめ

先週のWeb担まとめ記事 2009/01/24~2009/01/30に公開されたWeb担の記事まとめ

Web担で1週間に更新された記事を、編集部のお勧めマーク付きでまとめて紹介。見逃している記事がないか、まとめてチェック!

Web担編集部

2009年2月2日 16:44

  • その他
  • ランキング/まとめ

単発記事 Google 検索エンジン最適化スターター ガイド(日本語版)

グーグルの公式な「Webサイトの作り方ガイド」。

Web担編集部

2009年6月8日 8:00

  • 24
  • 432
  • SEO
  • 解説/ノウハウ

海外&国内SEO情報ウォッチ 新人に読ませておきたい「グーグルSEOでやったら本当にヤバいこと」【SEO記事12本まとめ】

SEOに詳しいあなたならば「あり得ない」ことも、新人さんは何も知らない前提でちゃんと教えましょう

鈴木 謙一

2018年4月13日 7:00

  • 180
  • 120
  • 60
  • SEO
  • 解説/ノウハウ

海外&国内SEO情報ウォッチ グーグル検索アルゴリズム夏の大アップデート! 今回の対処方法は?【SEO記事12本まとめ】

◯◯すれば、グーグル内の信頼性スコアや品質ランクがアップする!?

鈴木 謙一

2018年8月24日 7:00

  • 218
  • 96
  • 23
  • SEO
  • 解説/ノウハウ

海外&国内SEO情報ウォッチ 令和のグーグル検索では、広告を出していても検索順位は上がりません!【SEO記事12本まとめ】

平成から令和へと移り変わらんとする今でも繰り返し出てくる「グーグルにいっぱい広告を出してる企業は、検索ランキングでも優遇されてるのでは?」という話題を改めて

鈴木 謙一

2019年4月26日 7:00

  • 88
  • 60
  • SEO
  • 解説/ノウハウ

海外&国内SEO情報ウォッチ 強調スニペットがSEO成功とは限らなくなる? グーグルが検索結果1ページ目の表示を変更【SEO情報まとめ】

Google検索で1位よりも上に表示される「強調スニペット」を獲得することの検索トラフィック価値が、グーグルの仕様変更によって変わりつつある。想定外なYahoo!検索への影響を含め、変更の内容を詳しくお届けする。

鈴木 謙一

2020年1月31日 7:00

  • 43
  • 47
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 【悲劇】CV貢献してない記事ページを整理 → ECサイト全体の売上が減少【ありがち】【SEO情報まとめ】

あるECサイトで、売上に貢献していないと判断された情報提供コンテンツを削除したら、トップページやカテゴリページの検索順位までもが下がり、結果として売上にも影響が出てしまった!

鈴木 謙一

2020年2月14日 7:00

  • 198
  • 104
  • 28
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ Search Consoleの4人に1人は勘違いしそうな仕様で某有名サイトがSERPから消滅!?【SEO情報まとめ】

ある有名ビジネス系SNSサイトが、グーグルの検索結果から消えた!? Search Consoleの“ちょっと特殊な”仕様を紹介しながら、検索エンジンからURLを削除するときが来たら思い出すといい情報をお届けする。

鈴木 謙一

2020年5月22日 7:00

  • 72
  • 153
  • 30
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 【重要】コアウェブバイタルとは? LCP/FID/CLSをわかりやすく解説【SEO情報まとめ】

Googleが発表した、最新のUX重要指標「core web vitals(コアウェブバイタル)」の3つ「LCP」「FID」「CLS」について、その意味やそこから見える問題点・改善基準をわかりやすく解説する。また、パンくずリストの位置など最新SEO情報もまとめた。

鈴木 謙一

2020年6月5日 7:00

  • 166
  • 107
  • 78
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ コアウェブバイタル改善にはメリットしかない。離脱率24%減・トップニュース表示は魅力的【SEO情報まとめ】

今週もグーグルの「コア ウェブ バイタル」3指標についてさらに情報を。モバイル検索でのトップニュース枠掲載の条件になる予定と、この指標を真面目に改善していくと売上や利益といったビジネス指標にも効果があるという話題だ

鈴木 謙一

2020年6月19日 7:00

  • 26
  • 33
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグルSEOのランキング要因にコアウェブバイタル、2021年5月からに決定【SEO情報まとめ】

コアウェブバイタルが2021年5月から正式にGoogle検索のランキング要因になる。その重要度や事前対策なども解説する。

鈴木 謙一

2020年11月27日 7:00

  • 59
  • 57
  • 24
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ Google公式FAQ 第2弾: コア ウェブ バイタルとページ エクスペリエンスに関して知っておきたい28の事実【SEO情報まとめ】

今回は要チェック記事が大量だ! Google検索順位への反映が近いコア ウェブ バイタルの重要情報が3つ、商品レビューに関するGoogle検索アルゴリズムアップデート、画像SEOの3つのポイントなどなど、見逃せないぞ!

鈴木 謙一

2021年5月7日 7:00

  • 40
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ Z世代はめっちゃ検索してる! 「若者は検索エンジンを使わない」は偏見だった!?【SEO情報まとめ】

「日本のZ世代は検索エンジンを使わない、SEO嫌いだから」「ソーシャルの検索やタグしか使っていない」というのは事実ではなかった、それどころか、Z世代は30代よりも検索エンジンを使いまくっているらしい

鈴木 謙一

2021年10月15日 7:00

  • 240
  • 163
  • 34
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ どの程度アダルトならGoogle検索でアダルトコンテンツ扱いになるの?【SEO情報まとめ】

グーグルが「アダルトコンテンツ」だと判断する基準は? どんな仕組みでアダルト判定しているの? アダルト自己申告metaタグの書き方も含めて、基本的なことを知っておこう

鈴木 謙一

2021年11月12日 7:00

  • 24
  • 36
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 検索避けの方法|Googleで表示・検索・アクセスされないようにしたい

検索よけといってもrobots.txtやnoindexでグーグルの検索エンジンに引っかからなくする方法やページを削除せずにパスワード保護する方法など、用途に応じた方法が存在します。SEOでも基本的ですが重要なテクニックなので改めておさらいしていきましょう。

鈴木 謙一

2021年12月10日 7:00

  • 48
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグル、PC検索でもCWVを組み込むページエクスペリエンスアップデートを開始【SEO情報まとめ】

モバイル検索だけが対象だったCWV(コア ウェブ バイタル)の検索評価への組み込みが、PC検索でも始まった。これに便乗して発生するだろうSEO業者の営業にも注意してほしい

鈴木 謙一

2022年3月4日 7:00

  • 37
  • 43
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ アメブロがAMPと訣別、SEOへの影響を木村氏がグラフで公開【SEO情報まとめ】

「AMPってもうなくしちゃっていいのかな」「でも、検索トラフィック減ったら困るし」そんなあなたに

鈴木 謙一

2022年3月18日 7:00

  • 24
  • 39
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグルはインデックスする基準を以前より厳しくしている!? 対処法は?【SEO情報まとめ】

「Googleにインデックスされにくくなっている」そう感じているのはアナタだけではない。技術的に問題ないのにインデックスされない状況への対応法を、技術面とコンテンツ面で解説。

鈴木 謙一

2022年4月1日 7:00

  • 36
  • 111
  • 29
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグルが公式に「SEO的には、文字数300語以上・KW出現率2%以下」と示してプチ炎上【SEO情報まとめ】

「1ページの文字数」「キーワード出現比率」――イマドキのSEOでは非常識なこうした解説をグーグルがオンライン講座で示していたと話題になった

鈴木 謙一

2022年5月20日 7:00

  • 52
  • 118
  • 41
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 内部リンクが多いほど検索トラフィックが多い!? 1800サイト調査から判明した検索トラフィックと内部リンクの相関関係【SEO情報まとめ】

SEOで2022年でも重要な「リンク」。さほど語られることが多くない「内部リンク」について、検索トラフィックとの関係を調査したデータから、改めて内部リンク戦略を考えてみよう

鈴木 謙一

2022年6月17日 7:00

  • 25
  • 86
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 役たたずなSEO目的ページをサイトごと落とすGoogleの新アルゴリズム「ヘルプフル コンテンツ アップデート」【SEO情報まとめ】

グーグルが画期的な検索アルゴリズムを導入する。その名も「ヘルプフル コンテンツ アップデート」。まだ英語圏だけのこのアップデートの仕組みは? どんなサイトが落ちてる? 今のうちに把握しておこう。

鈴木 謙一[執筆]

2022年9月30日 7:00

  • 50
  • 77
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ あなたも同じミスをするかも? robots.txtのミスで予想外のページをクロール禁止していた悲劇【SEO情報まとめ】

最強級のSEOと最上級のコンテンツすら台無しにする、robots.txtの予想と違う挙動を、あなたは知っているだろうか? 知らなければうっかりハマってしまうかも

鈴木 謙一[執筆]

2022年11月4日 7:00

  • 21
  • 47
  • 43
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグルDiscoverの掲載判断には検索のランキング要因と同じものが多い【SEO情報まとめ】

SEO担当者のなかには「Google Discoverからのトラフィック獲得」が役割の人もいるだろう。今回は、そんなDiscover最適化に役立つ情報をお届けする

鈴木 謙一[執筆]

2023年3月10日 7:00

  • 24
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ SEO達人の“検索意図”と“高品質なコンテンツ”の解説で、あなたのSEOをレベルアップ【SEO情報まとめ】

SEO業界の達人である住氏と渡辺氏による、「検索意図」「高品質なコンテンツの定義」の情報をお届けする。

鈴木 謙一[執筆]

2023年6月23日 7:00

  • 68
  • 26
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 生成AIとSEOとゴミコンテンツと「基本はインデックスされない時代」【SEO情報まとめ】

「チャットAIでSEOコンテンツを自動生成」と考えたことがある人に読んでほしい、最新の生成AIとSEOやネットの情報を2つと、「これからは、インデックスされないことが普通」という情報を、ピックアップしてお届けする

鈴木 謙一[執筆]

2023年7月7日 7:00

  • 69
  • 92
  • 28
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ Google検索×生成AIの「SGE」が日本で試験運用。Bardとは違う? SEOへの影響は?【SEO情報まとめ】

Google検索の新しい機能「SGE」日本語版の試験運用がスタートした。どんな機能なのか。強調スニペットとの違いは? Bardとはどう違うのか? 間違った回答への対策は? 検索トラフィックはどうなる?

鈴木 謙一[執筆]

2023年9月8日 7:00

  • 36
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグルにアピールしても無駄なSEOテク5選+SEOに効くコンテンツ作りの原則【SEO情報まとめ】

Googleのアップデートに耐えて検索上位をキープするコンテンツを作るために大切なこととは? 「EC機能が最強」などの声に対して、グーグル検索の公式アカウントが「こういうのは意味ない」「やるならこう」という具体例や考え方を示した。

鈴木 謙一[執筆]

2024年3月29日 7:00

  • 34
  • 62
  • 63
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ Googleレンダリングの都市伝説: JavaScript SEOの誤解と対策【SEO情報まとめ】

現在のGoogleは、JavaScriptやCSSも含めてレンダリングしたうえでインデックスしている。この処理に関する誤解(都市伝説)を、調査データと分析でVercelが検証している

鈴木 謙一[執筆]

2024年8月9日 7:00

  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 129日後にGoogleインデックスから消えるURL【SEO情報まとめ】

グーグルが再クロールしない状態が129日間続くと、URLはインデックスから消える……検索カンファレンスで共有された10万URLの調査データからコンテンツの品質を考えよう。

鈴木 謙一[執筆]

2024年9月20日 7:00

  • 40
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ Googleがキャッシュ保存をできるようにしてください。お願いします【SEO情報まとめ】

Googlebotのクロール効率アップと人間ユーザーへのUX改善の両方に効く、「HTTPキャッシュ標準」を取り入れるよう、グーグルが案内している。なぜこれに意味があるのか、筋道立てて理解しておこう

鈴木 謙一[執筆]

2025年1月24日 7:00

  • 22
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ イマドキのSEOに被リンクは不要? 100万件のSERP分析で判明した真実に刮目せよ【SEO情報まとめ】

「SEOに大切なのはコンテンツと検索意図、リンクはもう重要ではない」―― Google検索順位と「被リンク」「被リンクドメイン名数」などの相関を100万件の検索結果ページで分析した結果から学ぼう

鈴木 謙一[執筆]

2025年2月7日 7:00

  • 39
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ ECサイトで商品詳細ページがインデックスされないときの対処方法【SEO情報まとめ】

「ECサイトで、商品詳細ページがクロールされているのにインデックスされない!」そんなあなたに、業界屈指のSEO専門家がトラブルシューティング手順をアドバイス。

鈴木 謙一[執筆]

2025年2月21日 7:00

  • 25
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグル検索結果CTR調査【最新版】―― 1位CTRは19%~38%と業界格差が拡大【SEO情報まとめ】

「グーグル検索1位のCTRは何パーセント?」あなたは答えられるだろうか。業種や検索意図によって違うSERPでの順位ごとCTRを、アドバンスト・ウェブ・ランキングの調査データで学んでおこう

鈴木 謙一[執筆]

2025年3月21日 7:00

  • 38
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 昔のBaiduspiderよりひどい? 悪質AIクローラーが世界のサイトをゲリラ攻撃【SEO情報まとめ】

生成AIがモーレツな人気だが、その裏で悪質なAI用クローラーが暴れていることをご存じだろうか。SEO関係者なら「Baiduspiderの行儀が悪かった」ことを覚えているかもしれないが、それを超えるひどさなのだという

鈴木 謙一[執筆]

2025年4月4日 7:00

  • 55
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 「こんなコンテンツはダメ」グーグル評価の傾向を50サイト分析データに学ぶ【SEO情報まとめ】

グーグルの考える「有用なコンテンツ」「ダメなコンテンツ」ってどんな基準? 「アンカーテキストの多様性」「ページの更新頻度」「タイトルの煽り度」などなど、調査から見えてきた傾向を知っておこう。

鈴木 謙一[執筆]

2025年4月25日 7:00

  • 29
  • 32
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 生成AIとグーグル検索、コンバージョン率が高いのはどっちからのトラフィック?【SEO情報まとめ】

ChatGPTなどの「生成AI経由のトラフィック」と、グーグルなどの「オーガニック検索経由のトラフィック」で、コンバージョン率はどう違うのだろうか? 参考になる良い調査データを紹介する

鈴木 謙一[執筆]

2025年5月23日 7:00

  • 53
  • 21
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ Xは83%減、Facebookも60%減。こんなに変わったメディアのトラフィック源、では検索は……【SEO情報まとめ】

メディアサイトへのトラフィックはどこから? 検索? ソーシャル? 565サイトにおける2019年からの推移を調査したデータを紹介する

鈴木 謙一[執筆]

2025年8月22日 7:00

  • 92
  • 33
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 「検索エンジン」「生成AI」のトラフィックを実データで比較。SEOの進むべき道はどこに?【SEO情報まとめ】

SEO担当者は生成AIにいつ工数を振り分けるべきか? 今でしょ? もう遅い? ahrefsが公開した「10万サイトのデータでAIと検索のトラフィックが見える」ツールで確認しておこう

鈴木 謙一[執筆]

2025年9月5日 7:00

  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ SEO神がデータで激説。「AIでSEO死亡」説は本当か?【SEOまとめ】

「生成AIの影響で検索が2026年までに25%減少」「SafariでのGoogle検索数が減少」「AI Overviewでメディアのトラフィック減少」などの「SEO死亡」説を、SEOの辻氏がさまざまなデータで検証した

鈴木 謙一[執筆]

1月9日 7:05

  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 「トラフィック時代」の終焉、AI時代のメディア戦略転換を280人の編集長リサーチに学ぶ【SEOまとめ】

AIの進化がもたらすユーザー行動の変化に、世界のメディア企業はどう対応しようとしているのか。280人の上級職が回答した調査レポートから、メディア企業の生き残り戦略を学ぼう

鈴木 謙一[執筆]

1月23日 7:05

  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ AIに引用されやすい文章パターンとは? 120万件の検索結果と1万8千件の引用で判明したAIの“クセ”【SEOまとめ】

AI最適化のために、「生成AIで紹介してもらえるページ」にしたい ―― でも、何をどうすればいいの? 大量のページとAI引用を調査して見えてきた「AIに引用されやすい文章のパターン」を紹介する

鈴木 謙一[執筆]

2月27日 7:05

  • 25
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ 2026年でもウェブサイトはまだ必要? アプリ・ソーシャル・AIで置き換えられるんじゃ?【SEOまとめ】

Web担当者は、SNSやAIが全盛の2026年にウェブサイトをどう位置づけて考えるべきなのか? Googleのマーティンとゲイリーが、「ウェブサイトが不要なケース」「ウェブサイトでしかできないこと」など、どうサイトを位置づけて進化させていくとよさそうかを語った。

鈴木 謙一[執筆]

4月10日 7:05

  • 40
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ グーグル公式「生成AI最適化」ドキュメント登場 ―― 生成AI検索にSEOはまだ有効か?【SEOまとめ】

グーグルが、「GEO/AEO/LLMO」的なベストプラクティスや意味のない施策を紹介する公式ドキュメントを公開した。AI検索で良いポジションを確保するために、どんな施策を進めればいいのだろうか、確認しておこう

鈴木 謙一[執筆]

5月22日 7:05

  • 21
  • SEO
  • 事例/インタビュー

Web担人気記事ランキング Google検索の68.01%はゼロクリック? 「グーグルゼロ」対策の5つの戦略【週間ランキング】

他のユーザーはどんな記事を読んでいるのか? 2026年6月17日~2026年6月23日に最も人気の高かった記事をチェック!

磯谷智仁(Web担編集部)

6月24日 8:00

Web担人気記事ランキング 映画の公式サイトがオンラインカジノや成人向けサイトに? ドメイン名管理の実態【週間ランキング】

他のユーザーはどんな記事を読んでいるのか? 2026年6月24日~2026年6月30日に最も人気の高かった記事をチェック!

磯谷智仁(Web担編集部)

7月1日 8:00

海外&国内SEO情報ウォッチ AI×ゼロクリック時代、自社サイトはそろそろ不要になる?【SEOまとめ】

検索エンジンもAIもソーシャルも「ゼロクリック」が強まっていくこの時代、「自社サイト」は必要なのだろうか? そろそろ意味がなくなるのだろうか?

鈴木 謙一[執筆]

8月21日 7:05

  • 23
  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ AI時代のコンテンツマーケ! 現場の「一次情報」「独自の経験」から最高のコンテンツを作る方法【SEOまとめ】

今のコンテンツには「一次情報」や「独自の経験」が重要だから、トップ営業やプロダクト担当者などの社内専門家にブログ記事を書いてもらおう ―― そのやり方は失敗する。現場に文章を書いてもらうことなく、最高のコンテンツを作り出すやり方を、コンテンツマーケのプロに学ぼう

鈴木 謙一[執筆]

10月2日 7:05

  • SEO
  • 事例/インタビュー

海外&国内SEO情報ウォッチ SEO予算は「クリック数」目当てじゃダメ。3種の指標と3つの予算配分で上司もナットク【SEOまとめ】

「SEOで流入を●%増やし、売上●円につなげる」そんな予算のとりかたが難しくなってきている。「訪問」より前段階での露出からプランをスタートして、3種類の指標と3つの予算グループで予算や施策を管理するやり方を、専門家が教えてくれた。

鈴木 謙一[執筆]

10月16日 7:05

  • SEO
  • 事例/インタビュー