ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。
サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。
また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。
用語「robots.txt」が使われている記事の一覧
全 5 記事中 1 ～ 5 を表示中
