インプレス ビジネスメディア

robots.txt とは 意味/解説/説明 （ロボッツ・テキスト）

読み方

ロボッツ・テキスト

関連語

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。 サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。 また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。http://www.robotstxt.org/

用語「robots.txt」 が使われている記事の一覧

全 5 記事中 1 ～ 5 を表示中

Moz - SEOとインバウンドマーケティングの実践情報 ホームページをGoogle検索に引っかからないようにする12の方法

検索エンジンにWebサイトのコンテンツをヒットさせないようにしたい! Google検索結果に表示させない方法って? 名前などの個人情報やプライバシーを守るため、あるいはキーワードカニバリゼーション解消のため、そう悩む人は少なくありません。今回は、ホームページを検索にひっかからないように、インデックスさせないようにする12のコツを紹介。いつもとはまた少し違った視点からSEOを学びましょう。

Moz

2008年2月14日 9:00

  • 57
  • 133
  • SEO
  • サイト制作／デザイン
  • 解説／ノウハウ

Moz - SEOとインバウンドマーケティングの実践情報 ロボット排除プロトコル（REP）とは？――メタタグやrobots.txtの基礎

Moz

2008年2月27日 9:00

  • 151
  • SEO
  • サイト制作／デザイン
  • 解説／ノウハウ

Moz - SEOとインバウンドマーケティングの実践情報 検索エンジンの動きを制御する方法とツール - 『検索エンジン最適化の初心者ガイド』改訂版#8-1

robots.txtやmetaタグを使って、検索エンジンのクロールなどを制御する方法を解説する。

Moz

2009年1月29日 9:00

  • 100
  • SEO
  • 解説／ノウハウ

Moz - SEOとインバウンドマーケティングの実践情報 検索エンジンが提供しているウェブマスター向けツール - 『検索エンジン最適化の初心者ガイド』改訂版#8-2

グーグルやヤフーが公式に提供するツール類の情報をお伝えする。

Moz

2009年1月30日 9:00

  • 62
  • SEO
  • 解説／ノウハウ

朝日新聞社と日本経済新聞社が生成AI事業者の米国Perplexityを著作権侵害で共同提訴

両社サーバーに収録する記事を許可なく複製・保存、記事内容が含まれた回答を表示

小島昇（Web担編集部）

2025年8月28日 7:03

  • AI
  • 法律／標準規格
  • その他
  • その他

新着記事

人気記事トップ10

ウェブページが生成AIに認識・参照されやすいか示す無料ツール「AI検索最適化診断」を提供開始 企業のデジタルサポート評価、ヤマト運輸が首位！ JALは32位→4位に大躍進【トライベック調べ】 この数字、どう読み解けばいい？ DNP流「新人にまず教える」アクセス解析入門 大丸松坂屋のブランディング戦略、自社の存在意義を伝える「ビジュアル」と「Webサイト」 Z世代の新SNS「Setlog（セットログ）」　学生の9割が認知！ 直近3カ月で利用急拡大【学割アプリ調べ】 AI検索でブランドを発見されやすくする方法（前編） Cookie規制下で「見えなくなったCV」をどう取り戻すか？ デジタル広告のCV計測精度をあげる方法！ キーワード「横浜市 業種名」では上位表示、「横浜 業種名」では圏外なのは、なぜ？ アドビに聞く「生成AIの安全な使い方」、著作権侵害や情報漏えい…高まる生成AI使用リスクへの対処法 祝・Web担創刊20周年！ 各業界の専門家から届いたお祝いコメント（解析編）
Z世代の新SNS「Setlog（セットログ）」　学生の9割が認知！ 直近3カ月で利用急拡大【学割アプリ調べ】 企業のデジタルサポート評価、ヤマト運輸が首位！ JALは32位→4位に大躍進【トライベック調べ】 ウェブページが生成AIに認識・参照されやすいか示す無料ツール「AI検索最適化診断」を提供開始 AI検索でブランドを発見されやすくする方法（前編） 大丸松坂屋のブランディング戦略、自社の存在意義を伝える「ビジュアル」と「Webサイト」 Cookie規制下で「見えなくなったCV」をどう取り戻すか？ デジタル広告のCV計測精度をあげる方法！ Googleに正しく評価されるSEOタイトル作成術！クリック率を高める5条件【1週間まとめ】 AIでGA4分析はどう変わるのか？ “次の打ち手”を迷わず生み出すコツとは？ 成果を生む組織づくり『なぜ戦略は正しいのに成果があがらないのか？ 事業成長をリードするデジタルマーケティング・マネジメント』を3名様にプレゼント この数字、どう読み解けばいい？ DNP流「新人にまず教える」アクセス解析入門
1週間かかった作業が1日に！ Gemini Notebookを無料で使い倒す活用術8選 Z世代の新SNS「Setlog（セットログ）」　学生の9割が認知！ 直近3カ月で利用急拡大【学割アプリ調べ】 SEOで勝つタイトル付けの法則とは？ グーグルから評価され、流入数を増やす5つの条件 アクティブユーザーが2倍に急成長！ JA共済アプリに学ぶ“ユーザー視点”のUI/UX改善 日本マイクロソフト、サイバーエージェント、文藝春秋、電通などが登壇！ 「生成AI × マーケティング フォーラム 2026」【8/27オンライン開催】 企業のデジタルサポート評価、ヤマト運輸が首位！ JALは32位→4位に大躍進【トライベック調べ】 派遣で働く期間、同じ会社・同じ職場を継続希望「3年以上」が第1位【エン調べ】 Googleが「Google Search Console」に新機能「プラットフォームプロパティ」を追加 ウェブページが生成AIに認識・参照されやすいか示す無料ツール「AI検索最適化診断」を提供開始 【3秒クイズ】5433円は3人で割り切れる？ 電卓を使わずに「ひと目」で見抜く方法
人気記事ランキングをもっと見る

企画広告も役立つ情報バッチリ！ Sponsored

10万ページを8,000に激減！ 富士通が挑んだグローバルサイト改革と「SitecoreAI」移行の舞台裏 7月29日 7:05 デザイン提案が「2週間→2日に」 設立22年を迎えるWeb制作会社のAI活用法 7月28日 7:05 AI検索で“自社がお勧め”されない！ お米ギフトの八代目儀兵衛が実践、GEO時代のECサイト改善 7月16日 7:05 AI検索時代、なぜSNSが重要？ フジドリームエアラインズが実践“フォロワー6倍・UGC200％増”の舞台裏 7月14日 7:05 AI分析で施策のPDCAを高速化！ 中川政七商店とSprocketが実践するAI活用術 7月10日 7:05 Webサイトのトップページはもはや不要？ 商品情報を「売れるコンテンツ」に変えるPIM/DAM連携 7月8日 7:05 ECビジネスに有効！ リピート促進や顧客満足度向上に直結する「LINE通知メッセージ」とは？ 6月30日 7:05 AI活用でWebサイトを優秀な営業担当者へ。BtoBサイト制作「5つの新基準」とは？ 6月24日 7:05 検索上位でもAI Overviewsに出ない!? 老舗米屋・八代目儀兵衛が取り組んだGEO施策 4月20日 8:00 明太子の「やまや」に聞く、マーケティングから店舗・採用まで広がるデータ活用術 4月14日 7:05
AIの成果を最大化するカギはデータ品質！ 今すぐ始められる3つの活用術

AIの成果を最大化するカギはデータ品質！ 今すぐ始められる3つの活用術

オンデマンド講座
Webサイト改善講座～GA4・Clarity・サーチコンソール徹底活用

Webサイト改善講座～GA4・Clarity・サーチコンソール徹底活用

オンデマンド講座
Web分析迷子を卒業！ 生成AI×GA4×Clarityで成果が出る時短PDCA改善術

Web分析迷子を卒業！ 生成AI×GA4×Clarityで成果が出る時短PDCA改善術

オンデマンド講座

編集部からのおしらせ

成果を生む組織づくり『なぜ戦略は正しいのに成果があがらないのか？ 事業成長をリードするデジタルマーケティング・マネジメント』を3名様にプレゼント 8月7日 10:00 SUBARUのブランド想起戦略／AI活用のカギは「量」より「質」／動画広告をAIで最大化【マーケター向け講演】 8月7日 7:04 人と機械の両方に読まれるための「アクセシビリティツリー」／AIに自社ブランドは表示されていますか？【Web担当者向け講演】 8月6日 7:04 AI検索時代“選ばれるブランド”はどう作る？／生成AI時代に求められる次世代Web制作フロー【Web担当者向け講演】 8月5日 7:04 ＜第3回＞AI時代のBtoBマーケティング実践講座【9/29（火）・30（水）開催】 8月4日 9:00
すべて見る