ウェブページをアーカイブ(取得、保存)する Wayback Machine が robots.txt に従わなくなる仕様変更を検討中。
- Wayback Machineがrobots.txtを無視するようになるかも? -
Posted on: 海外SEO情報ブログ - SuzukiKenichi.COM by Kenichi Suzuki
RSSフィード