robots.txt とは 意味/解説/説明 (ロボッツ・テキスト)

読み方

ロボッツ・テキスト

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。

サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。

また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。

http://www.robotstxt.org/

用語「robots.txt」が使われている記事の一覧

全 223 記事中 1 ~ 50 を表示中

ページ

Web担編集部 2009/06/08 8:00 2 24 219

グーグルの公式ドキュメント「Google 検索エンジン最適化スターターガイド」の日本語版が公開されました。オリジナルバージョンはPDFなのですが、「PDFはちょっと……」という人もいますので、HTML版として公開します!

ページタイトルメタ タグ、URL の構造、サイト内のナビゲーション、アンカー テキスト、見出しタグ、robots.txt、rel="nofollow"や、サイトの宣伝方法など、あなたのサイトにも役立てられる情報が、必ずみつかるはずです!

Moz - SEOとインバウンドマーケティングの実践情報

SEO基礎用語集[完全版]

Moz(旧SEOmoz) 2007/08/24 9:00 14 9 348

[海外特選サイト翻訳] SEOmoz
検索マーケティングのニュース&テクニック

SEO業界は、聞き慣れない言葉であふれている。まだ経験の浅いSEO担当者に、完全版用語集を贈ろう。

その数なんと140個! 各用語を完璧に解説しているわけではないが、あなたの手元に置いておくと、必ず役に立つときがくるだろう。

鈴木 謙一 4/13 7:00 164 100 54

新たにWeb関連の仕事をするようになった人に「10回読んで頭にたたき込め」と伝えておきたい、「絶対にやっちゃいけないSEO」の情報をお届けする。

鈴木 謙一 2017/05/26 7:00 254 86 34

イマドキのSEOで大切なことは何か。2人のSEOエキスパートがそれぞれ解説している。CA木村氏の「SEOにできること・すべきことの基本的な考え方」と、渡辺隆広氏の「『ユーザーのために』というアドバイスを聞き飽きた人へ」だ。

鈴木 謙一 2017/06/16 6:00 49 58 20

「SEOで上位に表示されるためには、文章を何文字以上にするのがいいか?」を気にしている人がいたら、ぜひこの記事を読んでほしい。あなたにピッタリの情報がここにある。

鈴木 謙一 2017/04/14 7:00 45 87 23

グーグルは、ニュース記事などで語られている内容が事実かどうかの検証状況に関するラベルを検索結果に表示するようにした。「フェイクニュース」対策のために導入した、いわゆる「ファクトチェック」の情報提供だ。

Moz(旧SEOmoz) 2012/02/13 9:00 61 73 70

そもそも重複コンテンツの問題は、どのような状況で発生するのだろうか。サイトの構成、システム面、ドメイン名、サイト内検索、商品一覧ページなど、さまざまな側面から具体的に解説していく。

鈴木 謙一 2017/12/15 7:00 363 128 46

「今ドキ集客ならSEOよりソーシャルでしょ」と思っているあなた、少し気にしたい調査データがある。メディアサイトが獲得したトラフィックの参照元において、グーグルがフェイスブックを追い越したという報告があったのだ。

鈴木 謙一 1/26 7:00 156 76 50

グーグルは、モバイル検索の順位決定要因としてモバイル向けページの表示速度を利用する「スピードアップデート」を2018年7月から導入することを発表した。

鈴木 謙一 2017/04/07 7:00 137 303 56

グーグルの考える「良質なコンテンツ」の定義は、どういうものなのだろうか。グーグル長山氏のコメントをもとに解説する。

鈴木 謙一 2017/08/25 7:00 114 252 36

著名なSEOコンサルタントのアレイダ・ソリス氏が、SEOで本当に大切なことを3つ、教えてくれた。トップクラスのSEO専門家が重視する3つの判断ポイントとは?

鈴木 謙一 2013/02/08 9:00 71 41 11

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、渡辺氏による「雑誌編集者視点でのコンテンツの考え方」のわかりやすい記事。ほかにも、グーグル公式の検索エンジンとサイトの基本を学ぶサイトや、SEOに関する17個のよくある質問と答えなどの情報をお届けする。

鈴木 謙一 3/16 7:00 73 56 29

Google Homeの音声検索データ1万件を分析して見えてきた、「音声検索SEOで上位表示させるヒントとなるかもしれない11個のポイント」を紹介する。

鈴木 謙一 2013/07/19 9:00 67 34 13

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、海外の大規模イベントで語られた、ウェブマーケティングのトレンド。「ブランド支配」「競争激化」などが語られている。ほかにも「ブサメン」「イケメン」で理解するリンクの質や、イマドキの有料ディレクトリの話題などをお届けする。

鈴木 謙一 2017/05/12 7:00 128 99 39

グーグル検索で1位を獲得するために絶対必要なこととは何か。また、グーグル検索におけるRankBrainのための最適化にはどんなものがあるのか。グーグルのジョン・ミューラー氏による解説をお届けする。

鈴木 謙一 2017/02/03 7:00 93 133 41

いまのSEOはコンテンツ命だとはいえ、良いコンテンツをさらに検索で有利にするノウハウが一切ないわけではない。titleタグやmeta descriptionをどう作るのが検索で有利か、米Etsyの調査から情報をお届けする。

あなたのサイトでSEOのための設定がちゃんとできているかチェックするツールをグーグルが公開している。今のところ10項目しかチェックできない“微妙”な感じだが、要チェックだ。

鈴木 謙一 2010/05/28 10:00 4 18 139

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のピックアップは出血大サービス。マット・カッツを含むグーグルスタッフが回答したSEOのQ&Aを大量に日本語でお届けする。

ウェブマスターツールやGoogle Analyticsなどのグーグル情報を中心に、ヤフー情報が小粒でピリリと効いた、お得号だ。

鈴木 謙一 2016/11/11 7:00 98 121 17

興味深いデータをグーグルが発表した。日本のウェブのHTTPS化状況は、アメリカ・ロシア・インド・ドイツなど他国と比べて低いようなのだ。これは、なぜなのだろうか。

時代は「SEO」から「SXO」へ ~海外最新サーチ事情・市場予測

SXO実現のためのユーザビリティ観点で押さえておくべき3つのポイント

SXO(Search Experience Optimization)では、サイトの技術的な基盤である「ユーザビリティ」が、最初に考えられるべきだ。具体的には「モバイルフレンドリー」「情報の構造化」「クローラビリティ&インデクシング」という3つのポイントが重要だ。

鈴木 謙一 2014/11/28 8:00 77 107 64

今週のトピックは、スマートフォンで見たときにサイトが使いやすいかどうかをチェックするグーグル公式ツール「モバイル フレンドリー テスト」と「モバイルユーザビリティレポート」の話題。ほかにも、ヤフーの虫眼鏡SEOスパム、ウェブマスターツールに届くメッセージの解説などなど、SEOの話題をお届けする。

鈴木 謙一 2017/02/17 7:00 148 98 41

グーグルが上位に表示したい「検索者のニーズに応える」コンテンツを作るには、「検索意図」を探るのが大切だ。そのやり方をわかりやすく解説した記事を紹介する。

鈴木 謙一 2014/06/06 9:00 98 92 53

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、「被リンクなしでの上位表示は可能なのか?」に対するマット・カッツ氏のコメント。ほかにも、日本のSEOの現状、スマホ向け表示のポイント、検索順位が下がった原因などなど、SEOの情報をお届けする。

鈴木 謙一 2016/12/09 7:00 47 46 17

グーグルのMFIが導入されたら、内部リンクがうまく張られていないページは、クロール・インデックスされなくなってしまうだろうか? この疑問にグーグルの長山氏が質問に答えている。

Moz - SEOとインバウンドマーケティングの実践情報

「有料リンクは是か非か」GoogleのMatt Cutts氏も盛り上がったSES San Jose 2007

Moz(旧SEOmoz) 2007/09/14 9:00 0 0 16

[海外特選サイト翻訳] SEOmoz
検索マーケティングのニュース&テクニック

カンファレンス関連の記事が続くけど、今日は「有料リンク」に関するセッションを紹介しよう。これまでところ、期待も評判も感動も最大級だったセッションだ。

この2~3年、Googleをはじめとする検索エンジン事業者は、有料リンクの広告と有料リンクのネットワークによるミクロ経済をしつこく問題にしてきた。基本的な論調はこうだ。

「有料リンクはインデックスの不正操作や汚染に相当している」「有料リンクはリンク先ページの品質や妥当性を「編集の立場で保証」するものではなく、経済的報酬という隠された動機によって検索結果の品質に悪影響を及ぼしている」

さて、業界の代表的な人が参加し、聴衆との質疑応答も盛り上がったこのセッションで語られたことを詳しくレポートしよう。

鈴木 謙一 2017/02/24 7:00 127 173 40

グーグルが対策するまで、品質の低い「まとめ記事」「リライト記事」が上位に表示されていたのはなぜなのか。先日の検索品質向上アップデートに関するわかりやすい解説をアイレップが公開した。

鈴木 謙一 2014/05/30 9:00 101 84 39

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、グーグルがクロール&インデックスの際に、JavaScriptを本格的に実行するようになったという話題。ほかにも、JS実行に関連するテーマや、構造化データの基本ガイド、関連語といった話題もお届けする。

鈴木 謙一 2017/10/20 7:00 116 117 32

「コンテンツマーケだ!」とゴミのようなコンテンツを大量に作ってしまっていたサイトが改心する場合、低品質なページは削除やnoindexするのがいいのか、それとも中身をリライトすべきなのか。ゲイリーとランドの意見を紹介する。

鈴木 謙一 2016/09/09 7:00 100 60 15

グーグルがコンテンツの品質を評価する「隠れた」アルゴリズム。その評価はページ単位なのかサイト単位なのか。どういう動きをし、どう対応するべきか。その分析の第一人者が解説する。

鈴木 謙一 2017/11/24 7:00 43 30 9

クイズ: Googlebotがサイトのrobots.txtにアクセスしたときにサーバーから返ってくるHTTPステータスコードが200番・400番台・500番台それぞれで、その後グーグルのクロールはどう違うか?

鈴木 謙一 2012/07/27 9:00 32 42 17

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、先週、正式に日本での導入が発表されたパンダアップデートに関しての情報。ほかにもグーグルの警告メッセージの送信対象拡大や、順位低下でトンズラした悪徳SEO業者の話、大手ニュースサイトのガイドライン違反など、良記事がたくさん。

鈴木 謙一 2016/02/05 7:00 58 35 47

グーグル推奨のHTTPSへの移行に関する13の質問に、グーグルのジョン・ミューラー氏が答えている記事は、要チェック。

鈴木 謙一 2015/07/10 7:00 69 44 17

常時HTTPS化やドメイン名移行をすると、各ページの「いいね!」数がゼロに戻る問題への1つの解決策を、今週はピックアップ。ほかにもnoindex、被リンク、EFO、「検索結果でフェイスブックページにリッチスニペット」、重複コンテンツ、パンダなどなどの情報をお届けする。

鈴木 謙一 3/30 7:00 61 30 6

ECサイトをAMP対応すると、売上はどれぐらい増えるのか? Forresterの試算によると、トラフィックが10%増えて、販売コンバージョン率も20%増加するとのことだ。

鈴木 謙一 2015/12/04 7:00 55 46 11

今週は、オウンドメディアをどう活用するかのうち、「どうやると失敗してやめることになるのか」を解説した記事がトップストーリー。ほかにも、ChromeでのHTTPS鍵アイコンの変更、グーグルが推進するモバイル高速化の「AMP」、重複コンテンツ、スマホのコンバージョン率などなど、SEO関連の情報をまとめてお届けする。

鈴木 謙一 2015/02/13 7:00 33 56 43

meta refreshは301リダイレクトの代わりに使って大丈夫なのか? 検索エンジン向けのサイトマップ送信のベストプラクティスは? WordPressやJoomola!のサイトをモバイル対応させる方法、モバイル向けリダイレクト設定の確認方法、ユーザーに喜ばれるECサイト運営、GoogleとTwitterの再提携、サブドメインvsサブディレクトリなどなど、SEOの情報をたっぷりお届け。

Moz - SEOとインバウンドマーケティングの実践情報

ブログのアクセス数を増やす21の戦略

Moz(旧SEOmoz) 2007/06/15 9:00 122 23 234

[海外特選サイト翻訳] SEOmoz
検索マーケティングのニュース&テクニック

僕は最近、コンサルティングの時間のかなりの部分を、企業のブログの最適化(または刷新されたサイトへのブログの追加)に使っている。そのおかげで、注意が必要な戦略や避けなければならない落とし穴にのパターンが見えてくる。そこで、1時間400ドルの相談料を取ってこのテーマについて助言を与えるよりも、ごく一般的なアドバイスの多くを、このブログで共有するほうが有益じゃないかと思ったわけだ。全部で21のノウハウにまとめてみた。いかがだろうか。

鈴木 謙一 2012/09/07 9:00 14 50 18

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、オーストラリアのSEOコンサルタントが答えた「微妙にマニアックな」SEOのQ&Aだ。ほかにも、ウェブマスターツールに届くメッセージの種類、販売終了商品のページをどう扱うべきか、インスタントプレビューの更新などについての情報をお届けする。

鈴木 謙一 2014/04/18 9:00 37 66 39

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、WordPressサイトのSEOをウェブライダーの松尾氏が解説した記事。ほかにも、検索結果に電話番号や店舗の営業時間を表示する設定やウェブマスターツールなど、SEOに関する話題をお届けする。

鈴木 謙一 2015/07/03 7:00 54 50 15

今週のピックアップは、スマホ版ページにnoindexを指定していても、対応するPC版ページがnoindexでなければ検索結果に出てしまう現象について。ほかにも、スマホ+タブレットのApp Indexing、AngularJSでのSEO事例、ユーザー視点に立ったフォーム、スマホ版検索結果での「読み込みが遅い」ラベルなどなど、SEOの情報をお届けする。

鈴木 謙一 2015/09/25 7:00 93 84 35

iOS 9の広告ブロックによって、広告どころかGoogleアナリティクスでの計測までブロックされる場合があるトピックが、今週のトップストーリー。ほかにも、コンテンツマーケティングでのKGI/KPIと予算の考え方、robots.txtの基本、titleタグの作り方7つのポイントなどなど、SEOの情報をまとめてお届けする。

鈴木 謙一 2014/10/10 7:00 273 659 55

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週は、海外記事から2記事を注目記事としてピックアップ。検索結果での順位別クリック率の話題と、「今後ページランクは更新しない」とグーグルが明言した件だ。

鈴木 謙一 2015/05/22 7:00 240 110 68

グーグルの検索キーワードの大半を分析できなくなって久しいが、Googleアナリティクスでも見えなくなっていた検索キーワードを手軽に分析できる機能を、グーグルがウェブマスターツールに追加した。

Moz(旧SEOmoz) 2014/05/19 9:00 60 47 22

この記事では、過去に経験したことのないような要因で検索順位が下がる脅威について迫りたいと思う。まず検索順位を維持するために必要と考えられている要素を検討しよう。それから、こっちのほうがもっと重要なのだが、たとえ検索順位が下がっても成功を維持するSEO戦略を策定するにはどうすればいいかについて解説する。

鈴木 謙一 2015/09/04 7:00 48 51 14

「これからはオウンドメディアだ」とがんばって始めたものの……という、ありがちな失敗例を11種類解説した記事が、今回のトップストーリー。ほかにも、スマホ時代に意識すべき「Micro-Moments」、meta keywords、インデックスなどなど、SEO関連の情報をまとめてお届けする。

鈴木 謙一 2013/06/28 9:00 26 28 12

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、Webコンテンツ作成にかけるコストの話題。ほかにも、内部SEOで成果を出した話、成果報酬SEOのリスク、グーグルからの警告メッセージの改善などの話題をお届けする。

鈴木 謙一 2013/12/20 9:00 78 61 23

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、元グーグル社員によるSEOのポイント解説。ほかにも、「SEOに必要な本当のコンテンツ」「meta descriptionタグとランキング」やウェブマスターツールの「修正済み」などの情報をお届けする。

鈴木 謙一 2014/01/17 9:00 153 80 41

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、「被リンクは悪で、グーグルが被リンクを重視する時代は終わった」といった、SEOに対する勘違いを正す内容。ほかにも、ウェブマスターツールの新機能や「価値の高いコンテンツ」に関する話題などをお届けする。

鈴木 謙一 2013/08/23 9:00 57 54 31

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、グーグルのガイドライン違反などで手動ペナルティを受けていないか自分で確認できる、ウェブマスターツールの新機能の話題。ほかにもスマホサイトの高速化やUX改善、「これであなたもウェブスパム博士」などの情報をお届けする。

鈴木 謙一 2016/05/13 7:00 57 44 12

今週お届けするトピックは、「ブログサービスなどの大手が、ウェブスパム対策で協力」というトピックだ。具体的には、スパムを行っているURLやその手法を情報共有するなどがある。

ページ

みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやアクセス解析のなどノウハウをゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
  • 編集長コラムを一足先に読める
日本赤十字社 東日本大震災 義援金募集
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやアクセス解析のなどノウハウをゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
  • 編集長コラムを一足先に読める

人気記事トップ10(過去7日間)

今日の用語

HCI
人間が使用するための対話型システムのデザイン、評価、実装に関連し、それら周辺の主 ... →用語集へ

連載/特集コーナーから探す

インフォメーション

Web担のメルマガを購読しませんか?
Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。

Web担に広告を掲載しませんか?
購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。

サイトマップ
RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]